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效 子 版 仅 声 明 


图 灵 社 区 的 电子 书 没有 采用 专 有 客 
户 痕 ， 您 可 以 在 任意 设备 上 ， 用 目 
己 喜 欢 的 浏览 器 和 和 PDF 阅读 器 进行 
| 洁 读 。 


但 您 购买 的 电子 书 仅 供 您 个 人 使 
用 ， 未 经 授权 ， 不 得 进行 传播 。 
我 们 愿意 相信 读者 具有 这 样 的 民 知 
和 觉悟 ， 与 我 们 共同 保护 知识 产 
权 。 


如 果 购 买 者 有 侵权 行为 ， 我 们 可 能 
对 该 用 户 实 施 包括 但 不 限于 关闭 该 
帐号 等 维权 措施 ， 并 可 能 退 究 法 律 
贡 任 。 
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软件 工程 师 ， 曾 工作 于 10gen 公 司 ， 负 责 维护 Ruby 
及 C 语 言 的 官方 MongoDB 了 驱动、 领导 MongoDB 文 
档 项 目 并 开发 培训 课程 ， 且 为 客户 提供 咨询 、 商 业 
支持 和 培训 ; 现任 职 于 Snapjoy ( 为 用 户 提供 默认 
私有 的 在 线 照 片 备 份 和 自动 管理 服务 ) 。 个 人 网 
站 : http://kylebanker.com/blog。 
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内 容 提 要 
本 书 由 10gen 公司 《开发 并 文 持 开源 数据 库 MongoDB) 负责 维护 Ruby 及 C 语言 官方 MongoDB 驱动 
的 软件 工程 师 Kyle Banker 编写 而 成 ,是 一 本 全 面 细 致 介绍 MongoDB 及 其 应 用 的 权威 指南 。 本 书 共 分 三 部 分 ， 
首先 介绍 MongoDB 的 历史 、 特 性 和 使 用 场景 ， 然 后 细致 前 述 MongoDB API， 专 注 于 应 用 程序 开发 渐 近 式 
描述 电子 商务 应 用 的 模式 与 操作 ， 并 最 后 从 DBA 的 角度 考量 性 能 和 运 维 。 另 外 ， 书 中 还 介绍 了 面向 文档 数 
据 库 模型 ， 并 深度 剖析 了 复制 、 自 动 分 片 以 及 部 署 等 特性 。 
本 书 适合 初中 级 应 用 程序 开发 者 和 DBA 学 习 参 考 。 
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谨 以 此 书 献 给 那些 为 和 平和 人 性 尊严 而 奋斗 的 人 们 。 


译 者 序 


颈 怠 一 跃 ， 不 能 十 步 ; 和 多 马 十 驾 ， 功 在 不 舍 。 
一 一 《前 子 . 劝 学 》 





IT 是 个 知识 更 新 十 分 迅速 的 行业 ，IT 人 士 除 了 和 苞 握 基础 知识 ， 还 要 经 党 关心 技术 动态 和 号 边 
不 断 涌现 出 的 新 技术 ,不 然 束 会 有 沙 伍 的 可 能 。 作 为 一 个 典型 的 摩羯 男 , 我 有 着 一 条 不 安 于 现状 
的 心 ， 想 要 不 断 超越 自己 。 要 收获 就 得 有 付出 ,还 是 努力 充电 吧 ，, 打 好 基础 才能 有 资本 去 迎接 挑 
战 。 比 如 ，Pragmatic Programmers 建 议 每 年 学 习 一 门 新 语言 ">， 所 谓 他 山 之 石 可 以 攻 玉 ， 就 算 没 
机 会 在 工作 中 用 到 它 ， 其 解决 问题 的 思路 也 值得 借鉴 。 

我 的 选择 有 所 不 同 , 大约 五 年 前 ,我 给 目 己 定 下 了 一 个 目标 , 在 上 月 己 30 岁 之 前 ， 每 年 翻译 一 
本 书 。 一 来 依 翻 译 之 机 次 入 学 习 一 些 东 西 ， 二 来 可 以 帮助 更 多 的 同行 。 也 许 是 摩 痢 的 坚持 ， 经 过 
几 年 的 努力 , 我 终于 可 以 为 这 个 计划 画 上 一 个 句号 了 。 没 错 ， 你 所 看 到 的 这 本 书 就 是 我 30 岁 计划 
的 收 家 之 作 。 硕 望 本 书 能 帮助 你 了 解 、 学 悦 、 擎 握 MongoDB ， 如 采 能 大助 在 工作 中 解决 实际 的 
问题 ， 那 就 表 好 不 过 本。 

“ 云 计 算 ”“ 大 数据 ”和 “NoSQL” 都 是 近年 的 热点 名 词 ， 本 书 的 “主人 公 ”MongoDB 和 
这 些 名 词 都 能 扯 上 关系 ， 加 之 它 和 传统 的 关系 型 数据 库 有 看 这 么 多 相似 之 处 ， 实 在 是 没 办 法 忽 
略 它 的 和 存在， 就 算 用 不 上 ， 也 该 好 好 了 解 一 下 。 在 网 上 放 了 不 少 文章， 也 对 MongoDB 有 了 一 个 
大 概 的 认识 之 后 ， 是 不 是 会 期 待 有 一 本 书 能 将 众多 知识 点 集 于 一 和 晤 ， 层 层 深 入 ， 融 会 贯通 ? 
《 MongoDB 权 威 指南 》 当然 不 容错 过 ， 不 过 注 注 一 本 小 册子 难免 无 法 深入 展开 ， 而 且 从 它 出 版 
之 后 ,MongoDB 也 发 生 了 不 少 重大 变化 。 也 许可 以 考虑 一 下 这 本 书 , 本 书 作 者 同样 来 自 MongoDB 
背后 的 公司 10gen， 而 且 写 作 上 符合 in Action 系 列 的 一 贯 风格 ， 内 容 由 浅 和 次， 注重 实践 。 无 论 
你 是 想 了 解 MongoDB 的 使 用 方法 还 是 具体 实现 细节 ,无 论 你 是 开发 者 还 是 DBA， 都 能 在 书 中 找 
到 需要 的 内 容 。 

我 总 是 喜欢 看 些 “ 失 败 双 例 ” 或 者 “重大 故障 ”， 比 如 车 名 的 Foursquare 在 MongoDB 上 就 吃 
过 不 少 苗头， 具体 的 细节 我 就 不 再 袭 述 了 。 总 之 ， 在 部 署 MongoDB 时 一 定 要 多 加 小 心 。 那 么 到 
底 该 如 何 进 行 调 优 ， 怎 么 处 理 复制 和 分 乒 ， 怎 么 维护 集群 呢 ? 如 果 对 MongoDB 已 经 有 所 了 解 ， 












































G 以 前 一 直 以 为 这 是 Martin Fowler 的 建议 ， 在 自己 写 的 第 一 篇 译 者 序 里 还 用 到 了 这 人 句 话 ， 但 在 上 次 Martin Fowler 来 
华 时 ， 他 指出 这 其 实 是 Pragmatic Programmers 提 出 的 。 一 一 译 者 注 


2 译 者 闯 





可 以 直接 翻 到 对 应 的 章节 ,本 书 的 后 半 部 分 每 草 都 独立 成 篇 ， 你 可 以 直 奔 主题 ,选择 性 地 阅读 需 
要 的 部 分 。 

在 翻译 过 程 中 , 不 断 有 人 问 我 什么 时 候 可 以 出 版 ,我 只 能 回答 还 得 再 等 等 ， 因 为 我 从 年 初 开 
始 花 了 整整 7 个 月 的 时 间 才 完成 了 全 书 的 翻译 ， 所 以 只 能 对 读者 说 抱歉 了 。 本 书 能 与 各 位 读者 见 
面 ， 离 不 开 图 灵 公 司 各 位 老师 的 六 勤 付 出 , 还 有 我 的 各 位 好 友 在 翻译 过 程 中 提供 的 各 种 建议 。 今 
天 正好 是 七 夕 , 在 这 个 特殊 的 日 子 里 ,我 还 要 感谢 一 下 我 的 新 婚 妻 子 ， 她 一 直 默 默 支持 我 ， 让 我 
做 自己 想 做 的 事 ， 本 书 也 有 她 的 一 份 功 劳 。 

虽然 花 了 这 么 多 时 间 仔 仔细 细 地 进行 翻译 , 不 过 人 碍 于 本 人 水 平 有 限 , 如 果 你 在 阅读 过 程 中 发 现 
什么 问题 , 还 望 能 够 不 音 赐教, 比如 通过 图 灵 社 区 (ituring.com.cn ), 或 者 新 浪 微 博 ( @DigitalSonic )， 
先行 谢 过 各 位 。 

















十 特定 
2012 年 8 月 23 日 于 上 海 
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数据 库 是 信息 时 代 的 “ 老 黄 牛 ”， 就 像 希 腊 神 话 中 的 擎 天 神 Atlas" 一 样 ， 它们 默默 地 支撑 着 我 
们 顿 以 生存 的 数字 世界 。 发 布 评论 和 微 睛 ， 乃 至 查找 并 排序 内 容 ,， 这些 操 作 从 本 质 上 来 说 都 是 和 
数据 库 打 交道 ， 而 我 们 恰恰 会 对 此 丈 视 无 里 。 正 因为 这 个 基础 的 “隐蔽 功能 ”， 我 总 是 会 对 数据 
库 心 存 敬 是 ， 这 种 和 敬 旦 和 走 过 本 来 只 让 汽车 通行 的 悬 索 大 桥 时 所 产生 的 敬 芋 没什么 分 别 。 

数据 库 有 很 多 种 形式 。 图 书馆 里 的 图 书目 录 和 卡片 分 类 都 算是 其 中 的 一 种 ， 痛 日 Perl 程 序 员 
使 用 的 特殊 结构 的 文本 文件 也 是 。 也许 现 在 最 广为人知 的 数据 库 ， 就 是 功能 丰富 、 让 人 赚 得 盒 满 
钵 全 的 关系 型 数据 库 了 ， 它 文 撑 大 这 个 世界 上 的 很 多 软件 。 这 些 关 系 型 数据 库 ， 连 同 它 们 那 理想 
化 的 第 三 范式 和 是 于 表达 力 的 SQL 接 日 ， 仍 然 让 那些 保守 派 肃 然 起 敬 。 

但 是 ， 作 为 一 名 有 几 年 工作 经 验 的 Web 应 用 程序 开发 者 ,我 渔 望 尝试 一 些 能 和 蔡 代 占据 统治 地 
位 的 关系 型 数据 库 的 后 起 之 秀 ， 发 现 MongoDB 之 后 , 便 对 它 爱 不 释 手 。MongoDB 使 用 类 似 JSON 
的 结构 来 表示 数据 ， 我 喜欢 这 个 设计 。JSON 人 简单 、 和 直观 而 有 旦 易 用 。MongoDB 还 将 其 查询 硬 言 构 
建 于 JSON 之 上 ， 使 得 这 个 新 数据 库 在 使 用 上 很 舒适 很 协调 。 接 口 之 外 的 一 些 引 人 注目 的 特性 让 
它 更 具 和 魅力， 例如 方便 复制 和 分 片 。 我 使 用 MongoDB 构 建 了 一 些 应 用 程序 ， 杂 喘 体验 了 它 宰 给 
开发 的 舒适 性 之 后 ， 便 深 次 爱 上 了 MongoDB。 

机 绿 巧合 ， 我 加 入 了 10gen 一 一 领导 开发 开源 数据 库 MongoDB 的 公司 。 两 年 来 ， 我 有 机 会 改 
善 多 秋 客 户 端 驱 动 ， 与 众多 客户 一 起 部 署 他 们 的 MongoDB。 我 而 望 在 这 一 过 程 中 所 积累 的 经 验 
都 能 原 汁 原味 地 体现 在 你 正 阅读 的 这 本 书 中 。 

作为 一 蒜 还 在 不 断 完 善 的 作品 ，MongoDB 还 有 很 长 的 路 要 走 ， 但 它 已 经 成 功 地 支撑 了 成 百 
上 上 千 的 应 用 程序 ， 运 行 在 大 大 小 小 的 数据 库 集群 之 上 ， 而 且 每 天 都 在 进步 。MongoDB 每 天 都 能 
为 不 少 开发 者 市 来 惊喜 ， 甚 至 是 让 福 ， 希望 你 也 能 拥抱 MongoDB， 感 受 它 的 魅力 。 













































































QD Atlas 是 希腊 神话 中 的 擎 天 神 ， 因 萌 叛 宙斯 被 降 罪 用 双肩 支撑 苍天 。 一 一 译 者 注 
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天 于 本 书 





本 书 适合 那些 想 从 基础 开始 了 解 MongoDB 的 应 用 程序 开发 者 和 DBA 学 习 参 考 。 如 有 果 你 刚刚 
接触 MongoDB, 会 发 现 本 书 是 很 好 的 教材 ， 内 容 由 浅 入 深 。 如 果 你 已 经 是 一 位 MongoDB 用 户 了 ， 
本 书 的 详细 参考 指南 部 分 一 定 能 助 你 一 臂 之 力 , 它 能 弥补 你 知识 点 上 的 空 日 。 从 深度 上 来 说 , 本 
书 内 容 适 合资 深 高 级 用 户 之 外 的 所 有 用 户 。 

本 书 的 代码 示例 使 用 的 是 J avaScript 和 Ruby， 前 者 是 MongoDB Shell 的 语言 ， 后 者 是 流行 的 脚 
本 语言 。 书 中 尺 可 能 提供 简单 、 有 用 的 示例 ， 只 使 用 JavaScript 和 Ruby 中 最 普通 的 特性 ， 主 要 日 
的 是 以 最 易 理 解 的 方式 展现 MongoDB API。 如 果 你 用 过 其 他 编程 语言 , 会 发 现 这 些 例子 都 很 容易 
理解 。 

关于 语言 ， 还 有 一 点 需要 说 明 。 如 有 果 你 心 存 疑惑 :“ 为 什么 本 书 不 使 用 某 某 语言 ? ”那么 大 
可 不 必 担 心 。 官方 支 持 的 MongoDB 豫 动 提 供 了 一 至 日 类 似 的 API,， 这 意味 着 一 旦 你 了 解 了 某 球 驱 
动 的 基本 API， 很 快 就 能 上 手 其 他 的 驱动 。 方 便 起 见 ， 本 书 在 附录 DD 中 提供 了 对 PHP、Java 和 C++ 
驱动 的 概述 。 


本 书 内 容 


本 书 既 是 教程 ， 又 是 参考 指南 。 如 果 你 刚刚 接触 MongoDB ， 按 顺序 阅读 全 书 定 会 大 有 收获 。 
书 中 有 大 量 代码 示例 ,你 可 以 目 行 运行 它们 以 巩固 对 概念 的 理解 。 运 行 这 些 示 例 前 ,你 至 少 需 要 
安装 MongoDB ， 最 好 还 有 Ruby 驱 动 ， 附 录 A 中 有 相关 的 安装 指南 。 

如 果 你 已 经 用 过 MongoDB ， 那 么 可 能 会 对 某 些 特定 的 主题 更 感 兴趣 。 第 7 章 到 第 10 章 ， 以 及 
所 有 的 附录 都 独立 成 扁 ， 可 以 跳跃 阅 谈 。 此 外 ， 第 4 章 到 第 6 曹 关 注 于 基础 知识 ,它们 也 能 脱离 上 
下 文 进 行 阅 旋 。 


本 书 结构 


本 书 分 为 三 部 分 。 

第 一 部 分 是 对 MongoDB 的 一 个 详细 介绍 。 第 1 章 概述 了 MongoDB 的 历史 、 特 性 及 使 用 场景 。 
第 2 草 通 过 MongoDB 命 令 界面 介绍 了 这 一 数据 库 的 核心 概念 。 第 3 草 介 绍 了 一 个 在 后 端 使 用 
MongoDB 的 简单 应 用 程序 的 设计 。 
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第 二 部 分 对 第 一 部 分 中 用 到 的 MongoDB API 做 了 详细 说 明 。 这 部 分 共 三 曹 ， 特 别 专注 于 应 
用 程序 开发 ， 渐 进 式 地 描述 了 电子 商务 应 用 的 Schema 和 操作 。 第 4 章 专门 讲解 MongoDB 中 最 小 
的 数据 单元 一 一 文 要 ， 提 供 了 一 套 基本 的 电子 商务 Schema。 第 $ 音 和 第 6 曹 讲述 如 何 通过 查询 和 
更 新 来 使 用 该 Schema。 为 了 更 好 地 进行 说 明 ， 第 二 部 分 中 的 每 一 章 都 对 相应 主题 作 了 条 分 缕 析 
的 讲解 。 

第 三 部 分 关注 性 能 和 运 维 。 第 7 草 彻底 研究 了 索引 和 查询 优化 。 第 8 草 坚 焦 于 复制 , 讨论 高 可 
用 性 和 旋 可 扩展 的 MongoDB 部 署 宁 略 。 第 9 章 介 绍 MongoDB 的 水 平 扩展 方法 分 片 。 第 10 草 是 
一 系列 最 住 实践 ， 包 含 部 署 、 管 理 以 及 MongoDB 安 装 的 疑难 解答 。 

本 书 最 后 还 有 5 个 附录 。 附 录 A 涉 及 了 MongoDB 和 Ruby ( 用 于 演示 驱动 ) 在 Linux、Mac OS X 
和 Windows 上 的 安装 。 附 录 B 介 绍 了 一 系列 Schema 和 应 用 程序 设计 模式 ， 还 包含 了 一 组 反 模 式 。 
附录 C 演 示 了 如 何在 MongoDB 中 使 用 二 进 制 数据 ， 以 及 如 何 使 用 GridFS ( 所 有 驱动 都 实现 了 的 一 
个 规范 ) 在 数据 库 中 存储 大 文件 。 附 录 D 对 PHP、Java 和 C++ 的 驱动 做 了 一 个 比较 人 研究。 附录 E 演 
示 了 如 何 使 用 空间 索引 ( spatial indexing ) 来 查询 地 理 坐标 。 


代码 约定 与 下 载 


书 中 出 现 的 所 有 源 代码 都 用 等 宽 字 体 表 示 ， 借 此 区 别 于 普通 文字 。 

有 些 代 但 清单 市 有 代码 注解 以 突出 重要 概念 , 有 些 地 方 还 有 市 数字 编号 的 项 目 符号 , 以 与 下 
文 的 解释 相 联系 。 

作为 一 个 开源 项 目 ，10gen 将 MongoDB 的 问题 追踪 系统 开放 给 了 社区 。 书 中 的 很 多 地 方 ， 万 
其 是 脚注 里 ， 第 有 问题 报告 和 计划 改进 的 引用 。 举 个 例子 ， 为 数据 库 添 加 全 文 搜索 的 问题 单 是 
SERVER-380。 要 查看 该 问题 单 的 状态 ， 可 以 通过 浏览 融 访 问 http:Vjira.mongodb.org， 在 搜索 框 中 
输入 单 号 。 

你 可 以 从 本 书 的 网 站 http:/mongodb-book.com 以 及 原 出 版 社 的 网 站 http:/manning.com/Mongo 
DBinAction 下 载 本 书 的 源 代码 "和 示例 数据 。 


软件 要 来 

想 要 最 大 限度 地 利用 本 书 , 你 需要 在 目 己 的 系统 上 安装 MongoDB, 可 以 在 附录 A 和 MongoDB 
官方 网 站 ( http:/mongodb.org ) 中 找到 安装 指南 。 

如 末 想 要 运行 Ruby 驱 动 的 例 于 ， 那 么 还 需要 安 逆 Ruby， 同 样 可 以 参考 附录 A 中 的 安装 指南 。 


作者 在 线 


本 书 的 读者 还 可 访问 Manning Publications 运 营 的 私有 论坛 ， 在 论坛 中 评论 本 书 、 询 问 技术 问 

































































Q) 也 可 在 图 灵 社 区 (www.ituring.com.cn ) 本 书 网 页 免费 注册 下 载 。 一 一 编者 注 
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题 以 及 寻求 作者 和 其 他 用 户 的 帮助 。 要 访问 并 订阅 该 论坛 , 请 在 浏览 需 中 访问 www.manning.comy/ 
MongoDBinAction 并 单 击 Author Online， 这 个 页 面 中 提供 的 信息 包括 注册 后 如 何 访问 论坛 、 可 以 
获得 哪些 帮助 ， 还 有 论坛 的 管理 规则 。 

Manning 厌 诺 为 读者 之 间 和 读者 与 作者 之 间 的 交流 提供 场所 ,但 对 作者 在 论坛 中 的 参与 程度 
并 不 做 要 求 , 他 是 义务 (不 计 报 酬 ) 参与 本 书 论坛 的 。 我 们 建议 你 尝试 问 他 一 些 有 挑战 性 的 问题 ， 
让 他 有 兴趣 继续 访问 本 论坛 。 

只 要 本 书 英 文 版 在 销售 ， 作 者 在 线 论 坛 的 内 容 以 及 之 前 讨论 的 存档 都 会 保留 在 出 版 社 的 网 
站 上 。 

















大 于 封面 图 片 





本 书 封 面 图 片 名 为 “Le Bourginion”， 即 法 国 东北 部 邯 民 第 地 区 的 居民 ， 取 目 法 国 出 版 的 四 
卷 地 方 服饰 风俗 概要 十 九 世 纪 版 , 作者 是 Sylvain Marechal。 其 中 ,每 张 图 都 画 得 很 精致 并 手工 上 
色 。Maréchal 作 品 中 收集 的 服饰 种 类 众多 ， 生 动 地 呈现 了 200 年 前 世界 上 地 区 和 城镇 在 文化 上 的 
差异 。 地 区 之 间 相 互 隔 离 ， 人 们 说 者 不 同 的 方言 。 在 城市 或 者 乡下 ,很 容易 就 能 通过 衣服 分 辨 出 
这 人 生活 在 哪里 ， 他 是 做 什么 的 以 及 他 的 号 份 地 位 。 

目 那 以 后 ,服饰 的 风俗 发 生 了 变化 ， 当 时 丰 宦 的 地 区 多 样 性 也 已 消失 殊 尽 。 现 在 很 难 区 分 出 
不 同 大 洲 、 地 区 或 城镇 的 居民 了 。 也许 我 们 是 用 文化 多 样 性 换取 了 更 多 样 的 人 生 一 一 无 颖 是 更 多 
样 、 更 快 太 舌 的 科技 生活 。 

Mar6chal 呈 现 给 大 家 的 图 片 体现 了 两 个 世纪 前 地 区 生活 丰富 的 多 样 性 , 在 计算 机 图 书 很 难 相 
互 区 别 的 今天 ，Manning 的 网 书信 封面 来 彰显 其 计算 机 网 书 的 独创 性 和 主动 性 。 
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这 部 分 是 一 个 宽泛 、 实 用 的 MongoDB 入 门 教程 ， 此 外 还 介绍 了 JavaScript Shell 和 Ruby 
驱动 ， 全 书 的 示例 都 会 用 到 它们 。 

第 1 章 将 回顾 MongoDB 的 历史 、 设 计 目 标 以 及 应 用 场景 。 我 们 还 会 拿 它 和 其 他 “NoSQL” 
领域 的 新 兴 数 据 库 做 对 比 ， 了 解 一 下 它 的 独一无二 之 处 。 

第 2 章 里 你 将 熟悉 MongoDB Shell 的 语言 ， 了 解 基本 的 MongoDB 查询 语句 ， 并 通过 创建 、 
查询 、 更 新 和 删除 文档 来 进行 实践 。 这 一 章 还 会 介绍 一 些 高 级 Shell 技巧 和 MongoDB 命令 。 

第 3 章 将 介绍 MongoDB 驱动 和 数据 格式 一 BSON。 本 音 里 你 将 了 解 到 如 何 通过 Ruby 编 
程 语言 与 数据 库 进 行 交互 ， 并 用 Ruby 构建 一 个 简单 的 应 用 程序 ， 该 示例 演示 了 MongoDB 的 灵 
活性 及 其 强大 的 查询 功能 。 








为 现代 Web 而 生 的 数据 库 





本 章 内 容 

口 MongoDB 的 历史 、 设 计 目 标 和 关键 特性 
口 MongoDB Shell 和 驱动 的 简要 介绍 

口 MongoDB 的 使 用 场景 及 其 局 限 性 





近 几 年 ， 如 有 果 构 建 Web 应 用 程序 ， 你 可 能 会 选择 关系 型 数据 库 作 为 主要 数据 存储 方案 ,而且 
它 的 表现 通常 也 能 接受 。 大 多 数 开发 者 部 熟悉 SQL， 能 体会 到 精心 正规 化 ( normalized ) 后 的 数 
据 模 型 所 散发 出 的 美感 ，T 了 解 事务 的 必要 性 ,知道 持久 化 存储 引 敬 提供 的 保证 。 就 算 我 们 不 喜欢 
和 直接 和 关系 型 数据 库 打交道 ， 也 能 找 出 很 多 工具 帮助 我 们 降低 复 林 上 度 ， 上 至 管理 控制 台 ， 下 至 对 
象 关系 映射 六。 简 言 之 ,关系 型 数据 库 十 分 成 贺 且 有 口 缘 和 碑 。 因 此 ， 当 一 小 群 有 主见 的 骨干 开发 
者 开始 提倡 另 一 种 数据 存储 时 , 便 有 人 提出 了 关于 这 些 新 技术 的 可 行 性 和 实用 性 的 问题 。 这 些 新 
数据 存储 是 关系 型 数据 库 的 符 代 品 吗 ? 谁 在 生产 环境 中 使 用 它们 , 为 什么 选择 它们 ?在 问 非 关系 
型 数据 库 的 迁移 过 程 中 又 要 做 哪些 权衡 ? 上 述 问题 的 答案 都 可 以 建立 在 这 个 问题 的 答案 上 : 为 什 
么 开发 者 对 MongoDB 感 兴趣 ? 

MongoDB 是 一 蒜 为 Web 应 用 程序 和 互联 网 基础 设施 设计 的 数据 库 管 理 系统 。MongoDB 的 数 
据 模型 和 持久 化 策略 的 设计 目标 是 提供 高 读 写 吞吐 量 ， 在 易于 伸缩 的 同时 还 能 进行 自动 故障 转 
移 。 无 论 应 用 程序 只 需要 一 个 还 是 几 十 个 数据 库 节 点 ，MongoDB 都 能 提供 怀 人 的 性 能 。 如 采 你 
对 扩展 关系 型 数据 库 的 艰 茸 深 有 体会 , 一 定 会 觉得 这 是 个 好 消息 。 但 并 非 每 个 人 都 需要 扩展 数据 
库 ， 也 许 需 要 的 就 只 是 一 台数 据 库 服务 硕 ， 那 么 为 什么 要 使 用 MongoDB 呢 ? 

MongoDB 之 所 以 一 下 子 这 么 引 人 注 意 ， 并 不 是 因为 它 的 扩展 策略 ， 而 是 因为 它 那 下 观 的 数 
据 模 型 。 假 设 基于 文档 的 数据 模型 可 以 表示 丰 定 的 、 有 层级 的 数据 结构 ,那么 抛弃 关系 型 数据 库 
所 强加 的 复杂 的 多 表 关 联 就 成 为 了 可 能 。 举 例 来 说 ,假设 你 正在 为 一 个 电子 商务 网 站 做 产品 建 模 ， 
如 有 果 使 用 完全 正规 化 的 关系 型 数据 模型 ,任何 产品 的 信息 可 能 都 会 被 打 散 到 多 张 表 中 。 如 有 果 想 要 
从 数据 库 Shell 里 获得 产品 表述 ， 我 们 逢 要 号 一 句 由 join 堆 砌 而 成 的 复杂 SQL 查 询 。 其 结 琳 就 是 ， 
大 多 数 开发 者 需要 依赖 软件 中 的 辅助 模块 将 数据 组 装 成 有 意义 的 东西 。 

相 比 之 下 ,使 用 文档 模型 的 话 ， 大 多 数 产 品 信息 都 能 放 在 一 个 文档 里 。 打 开 MongoDB 
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JavaScript Shell， 可 以 轻松 获得 产品 的 完整 表述 ， 所 有 信息 都 按 层级 用 一 种 类 似 JSON "的 结构 组 
织 在 一 起 。 对 于 这 样 组 织 的 所 有 信息 ， 既 可 以 做 查询 ， 也 可 以 做 其 他 操作 。MongoDB 的 查询 是 
专门 为 操作 结构 化 文档 而 设计 的 , 因此 从 关系 型 数据 库 切 换 过 来 的 用 户 能 有 与 之 前 类 似 的 查询 体 
验 。 此 外 , 大 多 数 开 发 者 现在 都 使 用 面 问 对 象 的 语言 ， 他 们 想 要 一 个 能 更 好 地 映射 到 对 象 的 数据 
存储 。 有 了 MongoDB ， 编 程 语言 中 定义 的 对 象 能 被 “原封 不 动 ” 地 持久 化 ， 消 除 抒 一 些 对 象 映 
射程 序 的 复杂 性 。 

如 果 你 对 表 列 数据 ( tabular ) 和 数据 的 对 象 表示 之 间 的 区 别 还 很 阳 生 ， 那 么 肯定 会 有 很 多 问 
题 。 在 本 曹 末尾， 我 将 给 出 MongoDB 的 特性 和 设计 目标 的 完整 概述 ， 让 你 更 清楚 地 明 昌 为 什么 
像 Geek.net ( SourceForge.net ) 和 纽约 时 报 (The New York Times ) 这 样 的 公司 的 开发 者 要 在 他 们 
的 项 目 中 使 用 MongoDB。 我 们 将 了 解 MongoDB 的 历史 ， 认 识 它 的 主要 特性 。 接 下 来 ， 我 们 还 要 
了 解 一 些 其 他 的 数据 库 解决 方案 和 所 谓 的 NoSQL 运 动 "， 我 会 解释 MongoDB 在 其 中 发 挥 的 作用 。 
最 后 ， 我 还 将 概括 说 明 MongoDB 适 用 于 哪些 场景 ,在 哪些 场景 下 其 他 数据 存储 又 可 能 会 更 合适 
一 -此 


























1.1 生 于 云端 


MongoDB 的 历史 虽然 不 长 ， 但 却 值得 回顾 ， 它 诞生 于 一 个 更 宏伟 的 项 目 。 在 2007 年 年 中 ， 
一 个 名 为 10gen 的 创业 公司 着 手 开发 一 个 PaaS ( Platform-as-a-Service ) 项 目 ， 它 由 应 用 服务 冀 和 
数据 库 组 成 ， 用 于 托管 Web 应 用 程序 并 能 按 需 伸缩 。 与 谷歌 的 AppEngine 类 似 ，10gen 的 平台 也 设 
计 成 能 够 目 动 伸缩 ， 目 动 管理 便 件 和 软件 基础 设施 , 它 解放 了 开发 者 ,证 他 们 能 够 专注 于 应 用 程 
序 代码 。10gen 最 终 发 现 大 多 数 开发 者 并 不 喜欢 放弃 对 技术 栈 的 擎 控 , 但 他 们 的 确 喜欢 10gen 的 新 
数据 库 技 术 。 后 来 10gen 将 精力 集中 到 数据 库 上 ， 就 有 了 MongoDB。 

随 着 越 来 越 多 的 人 在 大 大 小 小 的 项 目 中 选择 MongoDB 并 在 生产 环境 中 进行 部 署 ，10gen 继 续 
以 开源 项 目的 形式 支持 MongoDB 数 据 库 的 开发 。 代 码 是 公开 的 ， 而 且 可 以 自由 修改 和 使 用 ， 只 
要 遵循 其 开源 协议 的 条 秋 即 可 ， 而 且 10gen 也 辟 励 社区 报告 缺陷 和 提交 补丁 。 到 目前 为 止 ， 
MongoDB 的 所 有 核 心 开 发 者 不 是 10gen 的 创始 人 ， 就 是 10gen 的 员工 , 而 这 一 项 目的 规划 继续 由 用 
户 社区 的 需求 来 决定 , 创造 该 数据 库 的 最 终 目标 是 将 关系 型 数据 库 中 最 好 的 特性 和 分 布 式 键 值 存 
储 绪 合 起 来 。 因 此 10gen 的 商业 模式 和 其 他 知名 开源 公司 坚 无 二 致 : 文 持 开源 产品 的 开发 ， 并 加 
最 终 用 户 提 供 订 阅 服 务 。 

这 段 历 史 中 有 儿 点 需要 注意 。 首 先 ，MongoDB 最 初 是 为 一 个 要 求 数据 库 能 在 多 人 台 机 需 间 优 
雅 伸缩 的 平台 而 开发 的 。 其 次 ，MongoDB 是 作为 Web 应 用 程序 的 数据 存储 设计 的 。 正 如 我 们 稍 后 
会 看 到 的 ，MongoDB 被 设计 为 可 水 平 伸缩 的 主要 数据 存储 ， 这 一 点 把 它 和 其 他 现代 数据 库 系统 
区 别 开 来 。 















































(JSON 是 JavaScript Object Notation 的 缩写 。 我 们 马上 就 会 看 到 , JSON 结 构 由 键 和 值 组 成 , 它们 可 以 任意 能 套 。JSON 
类 似 于 其 他 编程 语言 中 的 字典 〈dictionary ) 和 散 列 图 (hash map )。 
(2 NoSQL 这 个 词 出 现 于 2009 年 ， 当 时 很 多 非 关 系 型 数据 库 越 来 越 流 行 ，NoSQL 是 它们 的 总 称 。 
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1.2 MongoDB 的 主要 特性 


数据 库 在 很 大 程度 上 是 由 其 数据 模型 来 定义 的 。 本 市 中 ， 我们 将 了 解 文档 数据 模型 和 
MongoDB 的 特性 ， 这 些 特性 让 我 们 能 有 效 地 操作 文档 数据 模型 。 我 们 还 会 看 到 与 运 维 相关 的 内 
容 ， 重 点 介绍 MongoDB 的 复制 和 水 平 伸缩 策略 。 


1.2.1 文档 数据 模型 

MongoDB 的 数据 模型 是 面向 文档 的 。 如 果 你 不 熟悉 数据 库 中 文档 的 概念 ， 那 我 们 最 好 先 看 
一 个 例子 。 
代码 清单 1-1 表示 社交 新 闻 网 站 中 一 个 条 目的 文档 


{ _id: ObjectID('4bd9e8el7cefd644108961bb'), 


J * 
title: 'Adventures in Databases', | _id 字 上 段 是 主键 
url: 'http://example.com/databases.txt', 





author: 'msmith', 
Vote count: 20, 


有 作为 字符 串 数 组 存储 的 标签 


tags: ['databases', 'mongodb', 'indexing'], 

jmage: { 6 
I de: 'http://example.com/db.jJpg', 指向 另 一 文档 的 属性 
GCap LoOn:J 


op | 
el LC 
data BITrary 


}, 9 作为 评论 对 象 数组 存储 的 评论 


comments: | 
{ user: 'bjones', 


text: 'Interesting article!' 
7 
{ user: 'blogger', 
text: 'Another related article is at http://example.com/db/db.txt' 


代码 清单 1-1 是 一 个 示例 文档 ， 表 示 社 交 新 闻 网 站 ( 比如 Digg ) 上 的 一 篇 文章 。 如 你 所 见 ， 
文档 基本 上 是 一 组 属性 名 和 属性 值 的 集合 。 属 性 的 值 可 以 是 简单 的 数据 类 型 ， 例 如 字符 串 、 数 字 
和 日 期 。 但 这 些 值 也 可 以 是 数组 ,甚至 是 其 他 文档 人 @， 这 让 文档 可 以 表示 各 种 富 数据 结构 。 在 示 
例文 档 中 有 一 个 属性 tags@， 其 中 用 数组 的 形式 保存 了 文章 的 标签 。 更 有 趣 的 是 comments 属 性 
合 ， 雍 是 一 个 评论 文档 的 数组 。 

让 我 们 花 点 时 间 把 它 和 标准 关系 型 数据 库 中 相同 数据 的 表述 对 比 一 下 。 图 1-1 是 一 个 对 应 的 天 
系 型 数据 库 的 表述 。 既然 数据 表 本 质 上 来 说 是 届 平 的 , 那么 要 表示 多 个 一 对 多 关系 就 需要 多 张 表 。 
先 从 包含 每 篇 文章 核心 信息 的 posts 表 开始 , 然后 创建 三 张 其 他 的 表 , 每 个 表 都 包含 一 个 post_iq 
字段 指向 原始 的 文 草 。 这 种 将 对 和 象 的 数据 拆 分 到 多 张 表 里 的 技术 称 为 正规 化 ( normalization )。 排 
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除 其 他 因素 ， 正 规 化 的 数据 集 可 以 保证 每 个 数据 单元 仅 出 现在 一 个 地 方 。 


= pe = 
1d int(11) 
author id int(11) 
title varchar(255) 
url text 
vote count smallint($ 0 
仆 
1d int(11) 
post 1d int(11) 
tag 1d int(11 
() 
| comments 
10 int(11) 
O<3 post id int(11) 
user id int(11) 
text text 


1d int(11) 
text varchar(255 


varchar(235) 
mediumint(8) 
location varchar(255 








图 1-1 表示 社交 新 闻 网 站 中 一 个 条 目的 基本 关系 数据 模型 


但 严格 的 正规 化 是 有 代价 的 , 特别 是 需要 一 些 装 配 工 作 。 为 了 显示 我 们 刚刚 提 到 的 文章 ,和 需 
要 在 posts 和 tags 表 之 间 执 行 联结 操作 。 还 需要 单独 查询 评论 ， 或 者 也 把 它们 放 在 一 个 join 声 
句 里 。 最 终 ， 是 否 需 要 严格 正规 化 要 取决 于 所 建 模 的 数据 的 类 型 ， 在 第 4 章 我 会 更 次 入 地 讨论 这 
个 问题 。 这 里 重点 说 一 下 ， 面 癌 文 档 的 数据 模型 很 容易 以 聚合 的 形式 来 表示 数据 ， 让 你 能 彻底 和 
对 象 打交道 : 所 有 用 来 表示 一 篇 文章 的 数据 , 从 评论 到 标签 , 都 能 放 进 一 个 单独 的 数据 库 对 和 象 里 。 

你 可 能 已 经 注意 到 了 , 除了 提供 丰 宦 的 结构 ,文档 无 第 了 预 完 定义 Schema。 在 关系 型 数据 库 中 
存储 的 是 数据 表 中 的 行 , 每 张 表 都 有 严格 定义 的 Schema,， 规定 了 列 和 类 型 。 如 果 表 中 的 某 一 行 需 
要 一 个 突 外 的 字段 ， 那 么 就 不 得 不 显 式 地 修改 表 结 构 。MongoDB 把 文档 组 织 成 集合 ， 这 种 容 咒 
无 需 任 何 类 型 的 Schema。 理论 上 , 集合 中 的 每 个 文档 都 能 拥有 完全 不 同 的 结构 。 在 实践 中 , 一 个 
集合 里 的 文档 相对 统一 , 举例 来 说 , 文 草 集合 里 的 文档 都 有 表示 标题 、 标 签 、 评 论 等 内 容 的 字段 。 

这 种 做 法 市 来 了 一 定 的 优势 。 痛 先 ， 是 应 用 程序 ， 而 非 数 据 库 在 保证 数据 结构 。 在 Schema 频 
繁 变 化 的 初期 开发 阶段 ， 这 能 提升 应 用 程序 的 开发 效率 。 其 次 ， 更 重要 的 是 无 Schema 的 模型 允许 
用 真正 的 可 变 属性 来 表示 数据 。 举 例 来 说 ,假设 正在 构建 一 个 电子 商务 产品 编目 ， 没 办 法 事先 知 
道 产 品 会 有 什么 属性 ， 因 此 应 用 程序 需要 处 理 这 种 可 变性 。 在 固定 Schema 的 数据 库 中 ， 传 统 的 解 
决 方案 是 使 用 实体 -属性 - 值 模 式 〈entity-attribute-value pattermn”)， 如 图 1-2 所 示 。 你 所 看 到 的 内 容 







































































GD 参见 http://en.wikipedia.org/wiki/Entity-attribute-value_ model。 
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选 自 Magento 的 数据 模型 ， 这 是 一 个 开源 的 电子 商务 框 染 。 请 注意 ， 这 些 数据 表 基 本 上 是 一 样 的 ， 
value 字 上 段 除外 ， 该 字段 仅 根 据 数 据 类 型 变化 。 该 结构 允许 管理 员 定 义 附加 的 产品 类 型 和 属性 ， 

但 却 带 来 了 很 大 的 复杂 性 。 试想 打开 MySQL Shell 检 查 或 更 新 一 个 用 这 种 方式 建 模 的 产品 , 用 于 装 
配 该 产品 的 联结 语句 是 何等 复杂 。 以 文档 的 方式 建 模 ， 就 不 用 做 联结 , 还 可 以 动态 地 添加 新 属性 。 























entlty 1d int(11) 
entity type ld int(9) 
attribute set 1d int($) 


type ld varchar(32) 
sku ivarchar(64 





catalog product entity_datetime 


value 1d int(11) 








entity_type_id smallint(5) 
o< attribute_id smallint(5) 
store 1d smallint($) 


entity_id int(10) 
value datetime 


catalog product entity_decimal 


value 1d int(11) 









entity type id smallint($) 
o<<| attribute ld smallint($) 
store_id smallint(S) 
entity_id int(10) 
decimal(12 
eal int(11) 
entity_type_id smallint(S) 
Do 二 attribute ld smallint(S) 
store_1d smallint($) 
entity_1id int(10) 
value int(11 
value 1d 
entity type id smallint(5) 
o<| attribute 1d smallint(S) 
store id smallint($) 
entity_1d int(10) 
value text 
value 1d int(11) 
entity_type_id smallint(S) 
o 志 attribute id smallint(9) 


store id smallint(9) 
entity id int(10) 


value varchar(255 


图 1-2 PHP 电子 商务 项 目 Magento 的 部 分 Schema， 其 中 这 些 表 用 来 辅助 动态 创建 产品 属性 
1.2.2 ”即时 查询 


说 一 个 系统 文 持 即 时 查询 (adhoc query ) 的 意思 就 是 无 需 预先 定义 系统 接 有 党 的 查询 类 型 。 天 
系 型 数据 库 有 这 个 能 力 ， 它 们 会 严格 膛 照 指示 执行 任何 完备 的 SQL 查询 ， 无 论 有 多 少 条 件 。 如 采 
你 仅 使 用 过 关系 型 数据 库 , 那么 会 认为 即时 查询 是 理 所 应 当 的 。 但 是 ,， 并非 所 有 的 数据 库 都 文 持 
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动态 查询 。 举 例 来 说 , 键 值 存储 只 能 按 一 个 维度 来 查询 一 一 键 。 和 很 多 其 他 系统 一 样 ， 键 值 存储 
牧 牲 了 丰富 的 查询 能 力 来 换取 一 个 人 简单 的 可 伸缩 模型 。 关系 型 数据 库 世 界 中 ,查询 能 力 是 再 基础 
不 过 的 事情 ，MongoDB 的 设计 目标 之 一 就 是 尽 可 能 保留 这 种 能 
要 了 解 MongoDB 的 查询 语句 如 何 工作 ， 让 我 们 先 来 看 一 个 简单 的 例子 ， 它 涉及 文章 和 评论 。 
假设 想 要 找到 所 有 带 politics 标 签 、 投 票数 大 于 10 的 文章 ，SQL 查 询 大 概 会 是 这 样 的 : 
SELECT * FROM posts 
INNER JOIN posts tags ON posts.id = posts tags.post _ id 


INNER JOIN tags ON posts tags.tag id == tags.id 
WHERE tags.text = 'politics' AND posts.vote count > 10; 


MongoDB 中 的 等 效 查 询 是 用 文档 来 做 匹配 的 ， 特 殊 的 sgt 键 表示 “大 于 ”: 

dppbposte find({(tagdgs ee Politlicee' vote Gount te {Soe SLO))s 

请 注意 ,这 两 个 查询 采用 了 不 同 的 数据 模型 。SQL 查 询 依赖 于 严格 正规 化 的 模型 ， 其 中 文章 
和 标签 保存 在 不 同 的 数据 表 中 ， 而 MongoDB 的 查询 假定 标签 是 存储 在 每 个 文章 的 文档 中 。 两 者 
都 演示 了 对 任意 属性 组 合 执行 查询 的 能 力 ， 这 是 即时 查询 的 本 质 。 

正如 之 前 提 到 的 ,一 些 数 据 库 的 数据 模型 过 于 傈 单 ， 因 此 不 文 持 即时 碍 询 。 举 例 来 说 ， 你 只 
能 根据 主键 在 键 值 存储 中 进行 查询 。 对 于 查询 而 言 ， 它 并 不 知道 这 些 键 所 对 应 的 值 。 要 根据 第 二 
属性 进行 查询 ， 比 如 本 例 中 的 投票 数 ,， 唯一 的 方法 是 日 己 写 代码 来 构造 条 日， 其 中 主键 是 指定 的 
投票 数 , 值 是 一 个 文档 主键 的 列表 ,文档 里 包含 了 键 中 所 指定 的 投票 数 。 如 果 你 在 键 值 存储 中 使 
用 了 这 种 方法 , 那么 一 定 会 为 此 而 猴 感 愧 狼 ， 虽 然 这 种 做 法 在 数据 集 较 小 时 能 管用 ， 把 多 个 肝 引 
窒 进 物理 结构 是 单 沦 引 的 存储 中 ,这 并 不 是 一 个 好 主意 。 而 且 , 键 值 存储 中 基于 散 列 的 索引 不 文 
持 范 围 查询 ， 而 在 查询 类 似 投 票数 这 样 的 东西 时 ， 范围 查询 可 能 是 必 不 可 少 的 。 

如 果 你 之 前 是 使 用 关系 型 数据 库 系 统 的 ， 视 即时 查询 为 常态 ， 那 么 应 该 会 发 现 MongoDB 提 
供 了 类 似 的 查询 能 力 。 如 果 正 在 评估 多 种 不 同 的 数据 库 技术 , 请 牢记 不 是 所 有 的 数据 库 都 文 持 即 
时 查询 ， 要 是 你 的 确 需要 这 种 能 力 ，MongoDB 会 是 一 个 不 错 的 选择 。 但 光 有 即时 查询 是 不 够 的 ， 
一 旦 数据 集 膛 胀 到 一 定 程 度 , 出 于 奋 询 效率 就 必须 使 用 索 引 。 适当 的 索引 能 把 查询 和 排序 的 速度 
提升 一 个 数量 级 ， 所 以 支持 即时 查询 的 系统 还 应 该 要 文 持 二 级 索引 。 

































































1.2.3 ”二 级 索引 





理解 数据 库 索 引 的 最 佳 方法 就 是 类 比 : 很 多 书 都 有 索引 ， 把 关键 字 和 页 码 对 应 起 来 。 假 设 你 
有 一 本 末 谱 ， 想 要 找到 其 中 要 用 梨 的 亲 ( 也许 你 有 很 多 梨 ， 不 想 它 们 坏 挥 )。 最 花 时 间 的 做 法 是 
一 页 页 找 过 去 ,看 每 道 荣 的 配料 。 大 多 数 人 都 喜欢 查 书 的 索引 ， 从 中 找到 巢 那 一 项 ， 其 中 会 指出 
所 有 包含 梨 的 亲 。 数 据 库 索引 就 是 提供 类 似 服务 的 数据 结构 。 

MongoDB 中 的 二 级 索引 是 用 B 树 ( B-tree ) 实现 的 ， B 树 索引 也 是 大 多 数 关 系 型 数据 库 的 默认 
索引 , 针对 多 种 查询 做 了 优化 , 包括 范围 扫 摘 和 市 排序 子 句 的 查询 。 通 过 人 允许 使 用 多 个 二 级 索引 ， 
MongoDB 让 用 户 能 对 大 量 不 同 的 查询 进行 优化 。 

在 MongoDB 里 ， 每 个 集合 最 多 可 以 创建 64 个 索引 。 它 文 持 能 在 RDBMS 中 找到 的 各 种 索引 ， 
升序 、 降 序 、 唯 一 性 、 复 合 键 索引 , 甚至 地 理 空 间 索 引 都 被 文 持 。 因 为 MongoDB 和 大 多 数 RDBMS 
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使 用 相同 的 索引 数据 结构 , 这 些 系统 中 有 关 管 理 索 引 的 建议 都 是 通用 的 。 下 一 半 里 我 们 会 开始 介 
绍 索 引 ， 因 为 了 解 索引 对 高 效 操作 数据 库 至 天 重要 ， 所 以 我 会 用 整个 第 7 草 来 讨论 这 个 话题 。 


1.2.4 复制 


MongoDB 通 过 称 为 副本 集 (replica set ) 的 拓扑 结构 提供 了 复制 功能 。 副 本 集 将 数据 分 布 在 
多 台 机 器 上 以 实现 见 余 , 在 服务 希 和 网 络 故障 时 能 提供 自动 故障 转移 。 除 此 之 外 , 复制 功能 还 能 
用 于 扩展 数据 库 的 读 能 力 。 如 果 有 一 个 读 密 集 型 的 应 用 程序 ( Web 上 很 常见 )， 可 以 把 数据 库 读 
操作 分 散 到 副本 集 集群 中 的 各 台 机 和 右上。 

副本 集 由 一 个 主 节点 (primary node ) 和 一 个 或 多 个 从 节点 〈secondary node ) 构成 。 与 你 所 
熟悉 的 其 他 数据 库 中 的 主 从 复制 (master-slave replication ) 类 似 ， 副 本 集 的 主 节 点 既 能 接受 读 操 
作 又 能 接受 写 操作 , 但 从 市 点 是 只 读 的 。 让 副本 集 与 众 不 同 的 是 它 能 支持 自动 故障 转移 : 如 有 果 主 
节点 出 了 问题 ， 集 群 会 选 一 个 从 节点 自动 将 它 提升 为 主 节 点 。 在 先前 的 主 贡 点 恢复 之 后 ， 它 就 会 
变 成 一 个 从 节点 。 图 1-3 描 述 了 这 个 过 程 。 

1. 一 个 工作 中 的 副本 集 
































2. 原来 的 主 市 点 出 了 问题 ， 一 人 


从 市 点 被 提升 为 主 布 点 
> ER 
从 市 点 主 节 点 





图 1-3 ”副本 集 的 日 动 故 障 转 移 
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我 会 在 第 8 章 里 详细 讨论 复制 。 
1.2.5 ”速度 和 持久 性 


要 理解 MongoDB 实 现 持 久 性 的 方法 ， 需 要 先 理 解 一 些 思 想 。 在 数据 库 系统 领域 内 ， 写 速度 
和 持久 性 存在 一 种 相反 的 关系 。 写 速度 可 以 理解 为 在 给 定时 间 内 数据 库 可 以 处 理 的 插 和 人 、 更 新 和 
删除 操作 的 数量 。 持 和 久 性 则 是 指数 据 库 保持 这 些 写 操作 结 采 不 变 的 时 间 长 短 。 

举例 来 说 ,假设 要 回 数 据 库 写 100 条 S$0KB 的 记录 ， 随 后 立即 切断 服务 需 的 电源 。 机 需 重 局 后 
这 些 记录 能 恢复 么 ”答案 是 一 一 有 可 能 , 这 取决 于 数据 库 系 统 和 托管 它 的 便 件 。 问 题 是 写 磁 盘 的 
速度 要 比 写 内 存 慢 儿 个 数量 级 。 某 些 数据 库 ， 例 如 memcached， 只 写 内 存 ， 这 让 它们 速度 很 快 ， 
但 数据 完全 吻 失 。 男 一 方面 ， 儿 乎 没有 数据 库 只 写 位 盘 ， 因 为 这 样 的 操作 性 能 过 低 ， 无 法 接受 。 
因此 ， 数 据 库 设计 者 经 常 需 要 在 速度 和 持久 性 中 做 出 权衡 ， 以 平衡 两 者 的 关系 。 

在 MongoDB 中 ， 用 户 可 以 选择 号 入 语义 ,决定 是 否 开 启 Journaling 日 志 记 录 ， 通 过 这 种 方式 
来 控制 速度 和 持久 性 间 的 平衡 。 默 认 所 有 的 写 操 作 都 是 fire-and-forget 的 ， 即 写 操作 通过 TCP 套 
接 字 发 送 ， 不 要 求 数 据 库 应 答 。 如 采用 户 需 要 获得 应 答 ， 可 以 使 用 特殊 的 安全 模式 发 起 写 操作 ， 
所 有 驱动 都 提供 这 个 安全 模式 。 该 模式 强制 数据 库 作出 应 众 , 确保 数据 库 正确 无 误 地 接收 到 了 写 
操作 。 安 全 模式 是 可 配置 的 ,还 可 用 于 阻 窒 操 作 ， 下 到 写 操 作 被 复制 到 特定 数量 的 服务 右 。 对 于 
高 容量 、 低 价值 的 数据 (例如 点 击 流 和 日 志 )，fire-and-forget 风 格 的 写 操 作 是 很 理想 的 选择 。 对 
于 重要 的 数据 ， 则 更 倾 品 于 安全 模式 。 

在 MongoDB 2.0 中 ，Journaling 日 志 是 默认 开启 的 。 有 了 这 个 功能 ， 所 有 写 操 作 都 会 被 提交 到 
一 个 只 能 追加 的 日 志 里 。 即 使 服务 融 非 正常 关闭 〈 比方 说 电源 故障 )， 该 日 志 也 能 保证 在 重启 服 
务 希 后 MongoDB 的 数据 文件 被 恢复 到 一 致 的 状态 。 这 是 运行 MongoDB 最 安全 的 方式 。 


















































事务 日 志 

MySQL 的 InnoDB 中 有 一 个 关于 速度 和 持久 性 的 折 中 。InnoDB 是 事务 性 存储 引擎 ， 根据 定 
义 ， 必 须 保 证 持久 性 。 它 通过 向 两 个 地 方 写 入 更 新 来 实现 这 一 目标 : 先 写 事务 日 志 ， 再 写 内 存 
缓冲 池 。 事 务 日 志 会 立刻 同步 到 磁盘 ， 而 缓冲 池 则 只 会 由 后 台 线 程 最 终 同 步 。 采 取 这 种 双重 写 
入 的 原因 是 一 般 来 讲 随机 LO 要 比 顺 序 LIO 慢 得 多 。 因 为 向 主 数据 文件 的 写 操 作 构 成 随机 LO, 所 
以 先 写 内 存 会 更 快 ， 可 以 后 面 再 同步 到 磁盘 上 。 但 有 些 写 操作 (至 磁盘 ) 要 保证 持久 性 ,保证 
写 入 是 连续 的 这 一 点 很 重要 ， 这 就 是 事务 日 志 的 功能 。 在 非 正 常 关闭 时 ，InnoDB 能 回放 事务 
日 志 ， 并 依 此 来 更 新 主 数据 文件 。 这 种 做 法 在 保证 高 持久 性 的 同时 也 提供 了 能 接受 的 性 能 。 











可 以 在 不 记 日 志 的 情况 下 运行 服务 此 ,这 样 能 提升 写 入 的 性 能 , 但 在 服务 融 意 外 关闭 后 可 能 
会 损坏 数据 文件 。 其 结果 就 是 那些 想 要 关闭 Journaling 日 志 功 能 的 人 必须 使 用 复制 功能 ， 最 好 还 











J 维基 百科 中 解释 为 “ 射 后 不 理 "， 源 目 军 事 领 域 ， 泛 指 武器 发 射 后 无 需 外 界 干涉 就 能 自己 更 新 目标 或 自己 坐标 的 
能 力 。 一 一 译 者 注 
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能 将 数据 复制 到 为 一 个 数据 中 心 ， 以 此 来 增加 失败 时 还 能 找 回 原始 数据 副本 的 可 能 性 。 
复制 和 持久 性 是 一 个 很 大 的 话题 ， 第 8 草 会 详细 展开 讨论 的 。 


1.2.6 ”数据 库 扩展 


对 大 多 数 数据 库 而 言 ， 最 简单 的 扩展 方法 就 是 升级 便 件 。 如 采 应 用 程序 运行 在 单个 闻 点 上 ， 
增加 磁盘 IOPS ( Input/Output Operations Per Second， 每 秒 输入 输出 操作 )、 内 存 和 CPU 通常 都 可 
以 暂时 消除 数据 库 的 性 能 瓶 宽 。 提 升 单一 节点 的 便 件 来 进行 扩展 称 为 垂直 扩展 或 同上 扩展 。 重 直 
扩展 的 优势 在 于 简单 、 可 靠 , 某 种 程度 上 而 言 还 是 比较 划算 的 。 如 果 你 正在 使 用 虚拟 化 硬件 ( 比 
如 亚马逊 的 EC2 ) 上 ， 可 能 会 找 不 到 足够 大 的 实例 。 如 果 正 在 使 用 物理 硬件 ， 终 会 有 一 天 ， 更 强 
大 的 服务 融 的 成 本 会 让 你 望而却步 。 

这 时 就 该 考虑 水 平 扩 展 或 回 外 扩展 了 。 水 平 扩 展 不 是 提升 单一 市 点 的 性 能 ， 而 是 将 数据 库 
分 布 到 多 台 机 絮 上 。 因 为 水 平 扩展 架构 可 以 使 用 普通 硬件， 所 以 托管 整个 数据 集 的 成 本 会 显著 
降低 。 而 且 ， 将 数据 分 布 在 多 人 台 服 务 需 上 可 以 降低 故障 市 来 的 影响 。 有 时 机 需 的 故障 是 难以 避 
免 的 ， 如 有 果 采 用 的 是 垂直 扩展 ， 在 机 器 发 生 故 障 时 ， 你 需要 处 理 的 怠 是 自己 大 多 数 系统 所 依赖 
的 那 台 服务 需 的 故障 。 如 果 在 复制 的 从 服务 顺 上 有 一 份 数 据 副 本 ， 问 题 还 不 算 严 重 ， 但 在 单机 
故障 仍 需 暂 停 整 个 系统 时 ， 这 依然 很 杯 手 。 水 平 扩展 架构 中 的 故障 与 之 形成 鲜明 对 比 ， 单 节点 
故障 不 会 带 来 灾难 性 有 影响， 因为 从 整体 上 看 ， 它 只 代表 了 很 小 一 部 分 数据 。 图 1-4 对 比 了 水 平 扩 






































展 和 垂直 扩展 。 
sy 
68 GB 内 存 
向 上 扩展 ”增加 单机 容量 问 外 扩展 ”增加 更 多 大 小 相近 的 机 纵 


SEE 本 二 ER 
1690 GB 存储 1690 GB 存储 1690 GB 存储 
200 GB 内 存 


5000 GB 存储 





图 1-4 水 平 扩 展 与 垂直 扩展 
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MongoDB 的 水 平 扩 展 非 常 易 于 管理 , 它 通 过 基于 范围 的 分 区 机 制 , 即 自动 分 片 (auto-sharding ) 
来 实现 这 一 设计 目标 , 自动 分 片 机 制 会 目 动 管理 各 个 市 点 之 间 的 数据 分 布 。 分 片 系统 会 处 理 分 片 方 
点 的 增加 ， 帮 助 进行 自动 故障 转移 。 单 独 的 分 片 由 一 个 副本 集 组 成 ， 其 中 包含 至 少 两 个 节点 ", 保 
证 能 够 目 动 恢复 ,没有 单 点 失败 。 综 上 所 述 ， 完 全 不 需要 编写 应 用 程序 代码 来 处 理 这 些 事情 ， 应 
用 程序 的 代码 只 要 像 和 单个 节点 通信 一 样 来 访问 分 片 集群 就 可 以 了 。 

我 们 已 经 讲 到 了 MongoDB 中 大 多 数 的 重要 特性 , 第 2 革 将 介绍 其 中 一 些 特性 在 实践 中 是 如 何 
应 用 的 。 但 此 时 此 刻 ， 证 我 们 从 更 实用 的 角度 来 看 看 数据 库 。MongoDB 的 核心 服务 硕 目 责 了 一 
套 工 具 ,， 下 一 市 我 们 将 介绍 怎么 使 用 这 些 工具 以 及 一 些 输 入 输出 数据 的 方式 。 









































1.3 MongoDB 的 核心 服务 器 和 工具 


MongoDB 是 用 C++ 编写 的 ， 由 10gen 积 极 维护 。 该 项 目 能 在 所 有 主流 操作 系统 上 编译 ， 包 括 
Mac OS 义 、Windows 和 大 多 数 Linux。mongodb.org 上 提供 了 这 些 平台 的 预 编 译 二 进 制 包 。 MongoDB 
是 开源 的 , 遵循 GNU-AGPL 许 可 ,GitHub 上 可 以 人 免费 获取 到 源 代码 , 而且 经 常会 接受 来 自 社 区 的 
页 献 ， 但 这 一 项 目 主 要 还 是 由 10gen 的 核心 服务 右 团 队 来 领导 的 ， 绝 大 多 数 提交 亦 来 日 该 团队 。 














GNU-AGPL 
GNU-AGPL 是 一 个 颇 受 争议 的 许可 。 实 践 中 ， 它 表示 源 代码 能 被 免 沉 获取 ， 而 且 它 鼓励 
社区 的 贡献 。GNU-AGPL 的 主要 局 限 是 ， 出 于 社区 的 利益 ,任何 对 源 代码 的 修改 都 必须 公布 
出 来 。 对 于 那些 想 保护 其 核心 服务 器 增强 特性 的 公司 来 说 ，10gen 提 供 了 特 珠 的 商业 许可 。 


MongoDB 1.0 发 布 于 2009 年 11 月 。 基 本 每 三 个 月 人 们 便 发 布 它 的 一 个 主要 版 本 ， 偶 数 发 行 号 ” 
代表 稳定 分 文 ， 奇 数 代表 开发 分 文 。 在 本 书 编写 时 ， 最 新 版 本 是 v2.0 。 
下 文 概述 了 MongoDB 目 市 的 组 件 ， 并 粗略 描述 了 工具 和 面向 MongoDB 开 发 应 用 程序 所 需 的 


语言 驱动 。 























1.3.1 核心 服务 器 


通过 可 执行 文件 mongod ( Windows 上 是 mongodb.exe ) 可 以 运行 核心 服务 硕 。mongodq 服 务 俘 
进程 使 用 一 个 自 定 义 的 二 进 制 协议 从 网 络 套 接 字 上 接收 命令 。mongodq 进 程 的 所 有 数据 文件 默认 
都 存储 在 /data/db "里 。 

mongod 有 多 种 运行 模式 ， 最 常 见 的 是 作为 副本 集中 的 一 员 。 因 为 推荐 使 用 复制 ， 通 常 副本 
集 由 两 个 副本 组 成 ,再 加 一 个 部 署 在 第 三 台 服 务 器 上 的 仲裁 进程 varbiter process ), 对 于 MongoDB 




















Q) 技术 上 来 看 ， 每 个 副本 集 都 至 少 有 三 个 节点 ， 但 其 中 只 有 两 个 需要 携带 数据 副本 。 
@) release number， 即 版 本 号 中 的 第 二 个 数字 。 一 一 译 者 注 

(3 你 应 该 总 是 使 用 稳定 版 本 ， 例 如 2.0.1 版 。 

(4) Windows 里 是 c:\data\db。 

@) 这 些 仲 裁 进 程 都 是 轻 量 级 的 ， 也 就 是 说 能 方便 地 运行 在 应 用 服务 器 上 。 
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的 和 目 动 分 片 架 构 而 言 ， 其 组 件 包含 配置 为 预 完 分 片 的 副本 集 的 mongod 进 程 ， 以 及 特殊 的 元 数据 
服务 右 , 称 为 配置 服务 器 ( config server )。 男 外 还 有 单独 的 名 为 nongos 的 路 由 服务 此 癌 适当 的 分 
片 发 送 请 求 。 

相 比 其 他 的 数据 库 系 统 ， 例 如 MySQL， 配 置 一 个 mongod 进 程 相对 比较 简单 。 虽 然 可 以 指定 
标准 端口 和 数据 目录 ， 但 没有 什么 调 优 数据 库 的 选项 。 在 大 多 数 RDBMS 中 ， 数 据 库 调 优 意味 着 
通过 一 大 堆 参 数 来 控制 内 存 分 配 等 内 容 ， 这 已 经 变 成 了 一 门 黑 魔法 。MongoDB 的 设计 哲学 指出 ， 
内 存 管 理 最 好 是 由 操作 系统 而 非 DBA 或 应 用 程序 开发 者 来 处 理 。 如 此 一 来 ,数据 文件 通过 mmap ( ) 
系统 调用 被 映射 成 了 系统 的 虚拟 内 存 。 这 一 举措 行 之 有 效 地 将 内 存 管理 的 重任 交 给 了 操作 系统 内 
核 。 本 书 中 我 还 会 更 多 地 阐述 与 mmap () 相关 的 内 容 ， 不 过 目前 你 只 需要 知道 缺少 配置 参数 是 一 
个 系统 设计 腕 点 ， 而 非 缺 陶 。 




















1.3.2 JavaScript Shell 


MongoDB 命 令 行 Shell 是 一 个 基于 JavaScript 的 工具 ， 用 于 管理 数据 库 和 操作 数据 。 可 执行 文 
件 mongo 会 加 载 Shell 并 连接 到 指定 的 mongod 进 程 。MongoDB Shell 的 功能 和 MySQL Shell 差 不 多 ， 
主要 的 区 别 在 于 不 使 用 SQL， 大 多 数 命 令 使 用 的 是 JavaScript 表 达 式 。 举 例 来 说 ,可 以 像 下 面 这 样 
选择 一 个 数据 库 ， 向 users 集 合 中 插入 一 个 简单 的 文档 : 


> use mongodb-in-action 





> db.users.insert({name: "Kyle"}) 
第 一 条 命令 指明 了 想 使 用 哪个 数据 库 ，MySQL 的 用 户 一 定 不 会 对 此 感到 陌生。 第 二 条 命令 
是 一 个 JavaScript 表 达 式 ， 插 入 一 个 简单 的 文档 。 要 查看 插入 的 结果 ， 可 以 使 用 以 下 查询 : 


> db.users.findl() 
{ _id: ObjectId("4ba667b0a90578631lc9caea0"), name: "Kyle" } 


find 方 法 返回 了 之 前 插入 的 文档 ， 其 中 添加 了 一 个 对 象 ID。 所 有 文档 都 要 有 一 个 主键 ， 存 
储 在 _ia 字 段 里 。 只 要 能 保证 唯一 性 , 也 可 以 输入 一 个 自 定 义 _id。 如 果 省 略 了 _iaqa, 则 会 自动 插 
入 一 个 MongoDB 对 象 ID。 

除了 可 以 插入 和 查询 数据 ，Shell 还 可 以 用 于 运行 管理 命令 。 例如， 查看 当前 数据 库 操作 、 检 
查 到 从 市 点 的 复制 状态 ， 以 及 配置 一 个 用 于 分 片 的 集合 。 如 你 所 见 ，MongoDB Shell 着 实 是 一 个 
强大 的 工具 ， 值 得 好 好 千 握 。 

说 了 这 么 多 ， 你 那些 和 MongoDB 相 关 的 大 量 工 作 都 是 通过 特定 编程 语言 编写 的 应 用 程序 来 
完成 的 。 想 知道 这 究竟 是 如 何 办 到 的 ， 必 须 先 了 解 一 下 MongoDB 语 言 驱 动 。 


1.3.3 数据库 驱动 


如 果 之 前 把 数据 库 丝 动 想象 成 的 腾 低 级 设备 的 梦 寿 ， 那 你 大 可 放心 ，MongoDB 的 驱动 很 容 
易 使 用 。MongoDB 团 队 竭 尽 全 力 在 提供 符合 特定 语言 风格 的 API， 并 同时 保持 跨 语言 的 、 相 对 统 
一 的 接口 。 举 例 来 次 , 所 有 驱动 都 实现 了 回 集 合 保存 文档 的 类 侯 方法 , 但 不 同 语言 里 文档 本 里 的 
表述 通常 会 有 所 不 同 , 驱动 尽量 会 对 特定 语言 表现 得 更 自然 一 些 。 例如 ,在 Ruby 中 就 是 使 用 一 个 
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Ruby 散 列 ， 在 Python 中 字典 更 合适 一 点 ，Java 中 缺少 类 似 的 语言 原 语 ， 需 要 用 一 个 实现 了 1 
LinkedqHashMap 的 特殊 文档 构建 融 类 来 表示 文档 。 

为 驱动 程序 为 数据 库 提 供 了 一 个 以 语言 为 中 心 的 富 接口 , 在 构建 应 用 程序 时 几乎 不 再 需要 
驱动 程序 之 外 的 抽象 了 。 这 与 使 用 RDBMS 的 应 用 程序 设计 稚 然 不 同 ， 在 数据 库 的 关系 型 数据 模 
型 和 大 多 数 现代 编程 语言 的 面 品 对 象 模型 之 间 儿 乎 都 需要 有 一 个 库 来 做 中 介 。 虽然 不 需要 对 象 关 
系 映射 器 ( object-relational mapper )， 但 很 多 开发 者 都 喜欢 在 驱动 上 做 一 层 注 清 的 封装， 用 它 来 
处 理 关 联 、 验 证 和 类 型 检查 "”。 

本 书 编写 时 ，10gen 官 方 支持 C、C++、C#、Erlang、Haskell、 Java、 Perl、 PHP、Python、Scala 
和 Ruby 的 驱动 ， 而 且 这 个 列表 还 在 不 断 增长 。 如 果 你 需要 文 持 其 他 语言 , 通 浓 都 会 有 一 个 社区 文 
持 的 驱动 。 如 果 对 于 某 语言 还 没有 社区 支持 的 驱动 ，mongodb.org 的 文档 里 有 用 于 构建 新 驱动 的 
规范 。 官 方 支 持 的 驱动 被 大 量 使 用 在 生产 环境 中 ,而 且 这 些 驱 动 都 人 遵循 Apache 许 可 ， 因 此 想 要 编 
写 驱 动 的 人 可 以 免费 获取 到 大 量 优秀 的 示例 。 

从 第 3 章 开始 ， 我 会 描述 驱动 是 如 何 工 作 的 ， 以 及 如 何 使 用 它们 编写 程序 。 


























1.3.4 ”命令 行 工 具 


MongoDB 自 带 了 很 多 命令 行 工 具 。 

口 mongodump 和 mongorestore,， 备份 和 恢复 数据 库 的 标准 工具 。 mongodump 用 原生 的 ] 
BSON 格 式 将 数据 库 的 数据 保存 下 来 , 因此 最 好 只 是 用 来 做 备份 , 其 优势 是 热 备 时 非常 有 
用 ， 备 份 后 能 方便 地 用 mongorestore 恢 复 。 

口 mongoexport 和 mongoimport ， 用 来 导 和 导出 JSON 、CSV 和 TSV 数 据 ,， 数 据 需 要 文 持 多 
种 格式 时 很 有 用 。mongoimport 还 能 用 于 大 数据 集 的 初始 寻 和 人 人， 但 是 在 导入 前 顺便 还 要 
注意 一 下 ， 为 了 能 充分 利用 好 MongoDB 通 常 需 要 对 数据 模型 做 些 调 整 。 在 这 种 情况 下 ， 
通过 使 用 驱动 的 自 定 义 肢 本 来 吐 入 数据 会 更 方便 一 些 。 

口 mongosniff, 这 是 一 个 网 络 串 探 工具 ， 用 来 观 取 发送 到 数据 库 的 操作 。 基 本 就 是 把 网 络 
上 传输 的 BSON 转 换 为 易于 人 们 阅读 的 Shell 语 句 。 

品 mongostat, 与 iostat 类 似 , 持续 轮 询 MongoDB 和 系统 以 便 提供 有 帮助 的 统计 信息 , 包 
括 每 秒 操作 数 ( 插入、 查询 、 更 新 、 删 除 等 )、 分 配 的 虚拟 内 存 数 量 以 及 服务 硕 的 连接 数 。 

稍 后 会 在 书 中 讨论 另外 两 个 工具 : psondump 和 和 mongofiles。 






































1.4 为 什么 选择 MongoDB 


为 什么 MongoDB 对 于 你 的 项 目 来 说 是 一 个 好 的 选择 ? 我 想 我 已 经 给 出 不 少 理由 了 。 本 节 中 ， 
我 会 更 明确 地 进行 说 明 , 首先 说 说 MongoDB 项 目的 总 体 设 计 目 标 。 根据 其 作者 的 观点 , MongoDB 
的 设计 是 要 结合 键 值 存 储 和 关系 型 数据 库 的 最 好 特性 。 键 值 存储 ， 因 为 非常 简单 ， 所 以 速度 极 快 














GD 在 本 书 编写 时 ， 一 些 流行 的 包装 器 包括 Java 的 Morphia、PHP 的 Doctrine 以 及 Ruby 的 MongoMapper。 
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而 且 相 对 容易 伸缩 。 关 系 型 数据 库 较 难 伸缩 ， 至 少 很 难 水 平 伸缩 , 但 拥有 富 数 据 模型 和 强大 的 查 
询 语 言 。 如 采 MongoDB 能 介 于 两 者 之 则 ， 就 能 成 为 一 蒜 易 伸缩 、 能 存储 丰 呀 数据 结构 、 提 供 复 
琳 查 询 机 制 的 数据 库 。 

在 使 用 场景 方面 , MongoDB 非 常 适 合用 做 以 下 应 用 程序 的 主要 数据 存储 : Web 应 用 程序 、 分 
析 与 记录 应 用 程序 ， 以 及 任何 要 求 有 中 等 级 别 缓存 的 应 用 程序 。 此 外 ， 由 于 它 能 方便 地 存储 无 
Schema 数 据 ，MongoDB 还 很 适合 保存 事先 无 法 知晓 其 数据 结构 的 数据 。 

之 前 所 说 的 内 容 还 不 太 足 以 让 人 信服 , 为 了 证 实 它们 , 我 们 大 致 了 解 一 下 目前 市 面 上 的 众多 
数据 库 ， 并 和 MongoDB 做 个 对 比 。 接 下 来 ， 我 将 讨论 一 些 特殊 的 MongoDB 使 用 场景 ， 提 供 一 些 
生产 环境 中 的 例子 。 最 后 ， 我 还 会 讨论 一 些 MongoDB 实 际 使 用 中 的 重要 注意 事项 。 


1.4.1 MongoDB 与 其 他 数据 库 的 对 比 


市 面 上 的 数据 库 数量 成 爆炸 式 增长 ， 要 在 它们 之 间 进 行 权 衡 是 很 困难 的 。 和 下 运 的 是 ,它们 之 
中 的 大 多 数 数 据 库 都 能 归 在 几 个 分 类 里 。 本 节 中 , 我 会 撒 述 简单 及 复杂 的 键 值 存储 、 关 系 型 数据 
库 和 文档 数据 库 ， 并 将 它们 与 MongoDB 做 一 个 比较 。 下 面 来 看 表 1-1。 


表 1-1 数据 库 家 族 









































示 例 数据 模型 伸缩 性 模型 使 用 场景 
向 单 键 值 存储 memcached 键 值 对 ， 其 中 值 是 一 个 二 多 种 模型 。memcached 能 ”缓存 、Web 操 作 
进 制 大 字段 跨 多 个 节点 进行 伸缩 ,把 
所 有 可 用 内 存 变 为 一 个 
巨大 的 数据 存储 





复杂 键 值 存储 Cassandra、Project ”多 种 模型 。Cassandra 使 用 ”最终 一 致 性 ,多 节点 部 署 ” 高 吞吐 量 垂 直 内 容 
Voldemort、Riak ”名 为 列 (column) 的 键 值 ”以 获得 高 可 用 性 和 简单 ” (活动 ffed、 消 息 队 





结构 。Voldemort 存 储 二 进 ”的 故障 转移 列 ) 、 组 在、Web 操 作 
制 大 字段 
关系 型 数据 库 ”Oracle 数据 库 、 数据 表 垂直 伸缩 。 对 集群 和 手动 《要求 事务 (银行 、 金 
MySQL.、 分 区 支持 有 限 融 ) 或 SQL 的 系统 、 
PostgreSQL 正规 化 数据 模型 


1. 简单 键 值 存储 

简单 刍 值 存储 正如 其 名 ， 基 于 给 定 的 键 对 值 做 索引 。 和 常 见 的 场景 是 缓存 。 举 例 来 说 ,假设 需 
要 缓存 一 个 由 应 用 程序 呈现 的 HTML 页 面 ， 此 处 的 键 可 能 是 页 面 的 URL， 值 是 HTML 本 身 。 请 注 
意 ， 对 键 值 存储 而 言 ， 值 就 是 一 个 不 透明 的 字 贡 数组 。 没 有 强加 关系 型 数据 库 中 的 Schema， 也 没 
有 任何 数据 类 型 的 概念 。 这 日 然 限 制 了 键 值 存储 允许 的 操作 : 可 以 放 入 一 个 新 值 ， 然 后 通过 键 将 
其 找 出 或 删除 。 拥 有 如 此 简单 性 的 系统 通常 很 快 ， 而 且 具 有 可 伸缩 性 。 

最 著名 的 简单 键 值 存储 是 memcached ( 发 首 是 mem-cash-dee )。memcached 仅 在 内 存 里 存储 数 
据 ， 用 持久 性 来 换取 速度 。 它 也 是 分 布 式 的 ， 跨 多 台 服 务 需 的 memcached 市 点 能 像 单个 数据 存储 
那样 来 使 用 ， 这 消除 了 维护 跨 服务 器 缓存 状态 的 复杂 性 。 
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与 MongoDB 相 比 ，memcached 这 样 的 简单 刍 值 存储 通常 谈 写 会 更 快 。 但 与 MongoDB 不 同 ， 
这 些 系统 很 少 能 充当 主要 数据 存储 。 人 简单 键 值 存储 的 最 佳 用 途 是 附加 存储 , 既 可 以 作为 传统 数据 
库 之 上 的 缓存 屋 ， 也 可 以 作为 任务 队列 之 类 的 短暂 服务 的 人 入 单 持久 层 。 

2. 复杂 键 值 存储 

可 以 改进 简单 健 值 模型 来 处 理 复 林 的 读 写 Schema 或 提供 更 丰 宦 的 数据 模型 。 如 此 一 来 ， 就 
有 了 复杂 键 值 存储 。 广 为 流传 的 论文 “Dynamo: Amazon’s Highly Available Key-value Store” 中 摘 
述 的 亚马逊 Dynamo 就 是 这 样 一 个 例子 。Dynamo 旨 在 成 为 一 个 健壮 的 数据 库 ， 在 网 络 故 障 、 数 
据 中 心 停 转 及 类 似 情况 下 仍 能 工作 。 这 要 求 系统 总 是 能 够 被 读 和 写 ， 本 质 上 就 是 要 求 数据 能 
动 跨 多 个 市 点 进行 复制 。 如 果 一 个 节点 发 生 故 障 ， 系 统 的 用 户 ( 在 这 里 可 能 是 一 个 使 用 亚 马 进 
购物 车 的 顾客 ) 不 会 察觉 到 服务 中 汤 。 当 系统 允许 同一 份 数 据 被 写 到 多 个 节点 时 ， 发 生 冲 突 的 
情况 是 不 可 避免 的 ，Dynamo 提 供 了 一 些 解决 冲突 的 方法 。 与 此 同时 ，Dynamo 也 很 容易 伸缩 。 
因为 没有 主 节点 ， 所 有 市 点 都 是 对 等 的 ， 所 以 很 容易 从 整体 上 理解 系统 ， 能 方便 地 添加 市 点 。 
尽管 Dynamo 是 一 个 私有 系统 ， 但 其 构建 理念 启发 了 很 多 NoSQL 系 统 ， 包 括 Cassandra 、Project 
Voldemort 和 Riak。 

看 看 是 谁 开 发 了 这 些 复杂 键 值 存储 , 看 看 实践 中 它们 的 使 用 情况 如 何 , 你 就 能 知道 它们 的 优 
点 了 。 以 Cassandra 为 例 ， 它 实现 了 很 多 Dynamo 的 伸缩 属性 ， 同 时 还 提供 了 与 谷歌 BigTable 类 似 
的 面 癌 列 的 数据 模型 -Cassandra 是 一 蒜 开 源 的 数据 存储 , 是 Facebook 为 其 收 件 箱 搜 索 功 能 开发 的 。 
该 系统 可 以 水 平 扩展 , 索引 超过 50 TB 的 收 件 箱 数 据 ， 人 允许 在 收 件 箱 中 对 关键 字 和 收 件 人 做 检索 。 
数据 是 根据 用 户 ID 做 索引 的 , 每 条 记录 由 一 个 用 于 关键 字 检 索 的 搜索 项 数组 和 一 个 用 于 收 件 人 检 
索 的 收 件 人 ID 数组 构成 。” 

这 些 复杂 键 值 存储 是 由 亚马逊 、 合 歌 和 Facebook 这 样 的 大 型 互联 网 公司 开发 的 ， 用 来 管理 系 
统 的 多 个 部 分 ， 拥 有 非常 大 的 数据 量 。 换 言 之 ,复杂 键 值 存储 管理 了 一 个 相对 上 月 包含 的 域 ， 它 对 
海量 存储 和 可 用 性 有 一 定 要 求 。 由 于 采用 了 无 主 方 点 的 染 构 , 这 些 系 统 能 轻松 地 通过 添加 节点 进 
行 扩 展 。 它 们 都 选择 了 最 终 一 致 性 ， 也 就 是 说 谈 请 求 不 必 返 回 最 后 一 次 写 的 内 容 。 用 户 用 较 弱 的 
一 致 性 所 换 得 的 是 在 某 一 万 点 失效 时 仍 能 写 人 的 能 

这 与 MongoDB 正 好 相反 ,MongoDB 提 供 了 强 一 致 性 、( 每 个 分 片 ) 一 个 主 节点 、 更 丰富 的 数 
据 模 型 ， 还 有 二 级 索引 ， 最 后 两 项 特性 总 是 一 起 出 现 的 。 如 果 一 个 系统 允许 跨 多 个 域 建 模 ， 例 如 
构建 完整 Web 应 用 程序 时 就 会 有 此 要 求 ,那么 查询 就 需要 路 整个 数据 模型 ， 这 时 就 要 用 到 二 级 索 
号 | 了- 

为 有 让 定 的 数据 模型 , 可 以 考虑 把 MongoDB 作 为 更 通用 的 大 型 、 可 伸缩 Web 应 用 程序 的 解 
决 方案 。 MongoDB 的 伸缩 架构 有 时 也 会 受到 非 难 ， 因 为 它 并 非 源 目 Dynamo。 但 MongoDB 针 对 不 
同 域 有 不 同 的 伸缩 解决 方案 。MongoDB 的 目 动 分 片 受到 了 雅虎 PNUTS 数 据 存 储 和 谷歌 BigTable 
的 局 发 。 旋 过 发 布 这 些 数据 存储 的 昌 皮 书 的 人 会 发 现 ，MongoDB 实 现 伸缩 的 方法 已 经 被 实现 了 ， 
而 且 还 很 成 功 。 






















































































参见 http://mng.bz/5321。 
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3. 关系 型 数据 库 

本 半 已 经 介绍 了 不 少 关 系 型 数据 库 的 内 容 ， 人 简单 起 见 ， 我 只 讨论 RDBMS 与 MongoDB 的 相同 
点 和 不 同 点 。 尽管 MySQL" 使 用 定 Schema 的 数据 表 ，MongoDB 使 用 无 Schema 的 文档 ， 但 两 者 
都 能 表示 丰富 的 数据 模型 。MySQL 和 MongoDB 都 支持 B 树 索引 ， 那 些 适 用 于 MySQL 索 引 的 经 验 
也 同样 适用 于 MongoDB。MySQL 文 持 联 结 和 事务 ， 因 此 如 果 你 必须 使 用 SQL 或 者 要 求 有 事务 ， 
那么 只 能 选择 MySQL 或 其 他 RDBMS。 也 就 是 说 , MongoDB 的 文档 模型 足以 在 不 用 联结 查询 的 情 
况 下 表示 对 象 。MongoDB 中 对 单独 文档 的 更 新 也 是 原子 的 ， 这 提供 了 传统 事务 的 一 个 子 集 。 
MongoDB 和 和 MySQL 都 支持 复制 。 就 可 伸缩 性 而 言 ， MongoDB 设 计 成 能 水 平 扩 展 ， 能 目 动 分 片 并 
处 理 故 障 转 移 。MySQL 上 的 分 片 都 需要 手动 管理 ， 有 一 定 的 复杂 性 ， 更 各 见 的 是 垂直 扩展 的 
MySQL 系 统 。 

4. 文档 数据 库 

目 称 为 文档 数据 库 的 产品 还 不 多 ， 在 本 书 编写 时 ， 除 了 MongoDB 之 外 ， 唯 一 的 著名 文档 型 
数据 库 就 是 Apache CouchDB 。 尽 管 CouchDB 的 数据 是 使 用 JSON 格 式 的 纯 文 本 存储 的 ， 而 
MongoDB 是 使 用 BSON 二 进 制 格式 ,但 两 者 的 文档 模型 是 相似 的 。 与 MongoDB 一 样 ，CouchDB 
也 文 持 二 级 索引 ， 不同 之 处 是 CouchDB 中 的 索引 是 通过 编写 MapReduce 也 数 来 定义 的 ， 这 比 
MySQL 和 MongoDB 使 用 的 声明 式 语 法 更 复杂 一 些 。 两 者 伸缩 的 方式 也 有 所 不 同 ，CouchDB 不 会 
把 数据 分 散 到 多 台 服 务 器 上 ， 每 个 CouchDB 节 点 都 是 其 他 节点 的 完整 副本 。 


1.4.2 ”使 用 场景 和 生产 部 署 


老实 说 ， 我 们 不 会 仅 根据 数据 库 的 特性 做 选择 ， 还 需要 知道 使 用 它 的 真实 成 功 案例 。 这 里 ， 
我 提供 一 些 广 义 上 的 MongoDB 使 用 场景 ， 以 及 一 些 生产 环境 中 的 示例 ”。 

1. Web 应 用 程序 

MongoDB 很 适合 作为 Web 应 用 程序 的 主要 数据 存储 。 就 算是 一 个 简单 的 Web 应 用 程序 也 会 有 
很 多 数据 模型 ， 用 来 管理 用 户 、 会话、 应 用 特定 的 数据 、 上 传 和 权限 , 更 不 用 说 非常 重要 的 域 了 。 
正如 它们 能 和 关系 型 数据 库 的 表 列 数据 配合 民 好 一 样 ， 它 们 也 能 获 益 于 MongoDB 的 集合 与 文档 
模型 。 因 为 文档 能 表示 丰富 的 数据 结构 ， 建 模 相 同 数据 所 需 的 集合 数量 通常 会 比 使 用 完全 正规 化 
关系 型 模型 的 数据 表 数 量 要 少 。 此 外 ,动态 查询 和 二 级 索引 能 让 你 轻松 地 实现 SQL 开发 者 所 吕 悉 
的 大 多 数 查 询 。 最 后 ， 作 为 一 个 成 长 中 的 Web 应 用 程序 ，MongoDB 提 供 了 清晰 的 扩展 路 线 。 

在 生产 环境 中 ，MongoDB 已 经 证 明 它 能 管理 应 用 的 方方面面 ， 从 主要 数据 领域 到 附加 数据 
存储 ， 比 如 日 志和 实时 分 析 。 这 里 的 案例 来 日 The Business Insider (TBI )， 它 从 2008 年 1 月 起 将 
MongoDB 作 为 主要 数据 存储 使 用 。 虽然 TBI 是 一 个 新 闻 网 站 , 但 它 流量 很 大 ,每 天 有 超过 一 百 万 
独立 页 面 访问 ,这 个 案例 中 有 意思 的 是 除了 处 理 站 点 的 主要 内 容 ( 文 草 、 评 论 、 用 户 等 ), MongoDB 
还 处 理 并 存储 实时 分 析 数 据 。 这 些 分 析 被 TBI 用 于 生成 动态 热点 地 图 ， 标 明 不 同 新 闻 故 事 的 点 击 










































































(这 里 我 用 MySQL 来 做 说 明 ， 因 为 我 所 描述 的 特性 适用 于 大 多 数 关 系 型 数据 库 。 
@) 要 想 获得 在 生产 环境 中 使 用 了 MongoDB 的 最 新 案例 列表 ， 请 访问 http:/mng.bz/z2CH。 
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率 。 该 站 目前 还 没有 太 多 的 数据 ， 因 此 尚 不 需要 分 片 , 但 它 有 使 用 副本 集 来 保证 停电 时 的 自动 故 4 
障 转 移 。 

2. 敏捷 开发 

无 论 如 何 看 待 敏 捷 开 发 运动 ， 你 都 很 难 否 认 对 于 快速 构建 应 用 程序 的 渔 望 。 不 少 开发 团队 ， 
包括 Shutterfly 和 纽约 时 报 的 团队 ， 都 部 分 选择 了 MongoDB ， 因 为 相 比 关系 型 数据 库 ， 使 用 
MongoDB 能 更 快 地 开发 应 用 程序 。 一 个 明显 的 原因 是 MongoDB 没 有 固定 的 Schema， 所 有 人 花 在 提 
区 、 沟 通 和 实施 Schema 变更 的 时 间 都 省 下 来 了 。 

除 此 之 外 , 不 再 需要 花 时 间 把 数据 的 关系 型 表述 便 考 进 面 向 对 象 的 数据 模型 里 去 上 ,也 不 用 
处 理 ORM 生 成 的 SQL 的 奇怪 行为 ， 或 者 对 它 做 优化 了 。 如 此 一 来 ，MongoDB 为 项 目 寓 来 了 更 短 
的 开发 周期 和 敏捷 的 、 中 等 大 小 的 团队 。 

3. 分 析 和 日 志 

我 之 前 已 经 暗示 过 MongoDB 适 用 于 分 析 和 和 日志， 将 MongoDB 用 于 这 些 方面 的 应 用 程序 数量 
增长 得 很 快 。 通常 , 发 展 成 就 的 公司 都 会 选择 将 用 于 分 析 的 特殊 应 用 作为 切入 点 , 进入 MongoDB 
的 世界 。 这 些 公司 包 括 GitHub 、Disqus、Justin.tv 和 Gilt Groupe， 还 有 其 他 公司 就 不 再 列举 了 。 

MongoDB 与 分 析 的 关联 源 目 于 它 的 速度 和 两 个 关键 特性 : 目标 原子 更 新 和 固定 集合 (capped 
collection )。 原 子 更 新 让 客户 端 能 高 效 地 增加 计数 咒 ， 将 值 放 和 数组。 固定 集合 ， 负 用 于 日 志 ， 
寺 点 是 分 配 的 大 小 固定 , 能 实现 目 动 过 期 。 相 比 文件 系统 , 将 日 志 数 据 保存 在 数据 库 里 更 易 组 织 ， 
而 且 能 提供 更 强大 的 查询 能 力 。 现 在 ， 抛 开 grep 或 自 定义 日 志 检 索 工 具 ， 用 户 可 以 使 用 他 们 就 
悉 并 喜欢 的 MongoDB 和 查询 语言 来 查看 日 志 输 出 。 

4. 缓存 

这 是 一 种 数据 模型 ， 它 能 更 完整 地 表示 对 象 ， 结 合 更 快 的 平均 查询 速度 ， 经 常 让 MongoDB 
介 于 传统 的 MySQL 与 nemcached 之 间 。 例 如 之 前 提 到 的 TBI， 它 可 以 不 使 用 memcached， 下 接 通 
过 MongoDB 来 响应 页 面 请 求 。 

5. 有 可 变 Schema 

看 看 这 上 段 代码 示例 ”: 


curl https://stream.twitter.com/1/statuses/sample.json -umongodb:secret 
| mongoimport -c tweets 


这 里 从 Twitter 流 上 拉 下 一 人 小段 示例 ， 并 用 管道 将 其 直接 导 和 人 MongoDB 人 集合。 因为 流 生 成 的 
是 JSON 文 档 , 在 把 它 发 给 数据 库 前 就 不 需要 预先 处 理 数 据 了 。 mongoimport 工 具 能 直接 将 数据 
转换 成 BSON。 这 意味 着 每 条 推 文 都 能 保持 其 结构 ,原封 不 动 地 存储 为 集合 中 的 单个 文档 ,无 论 
你 是 想 查询 、 索 引 还 是 执行 MapReduce 聚 合 ， 都 能 立刻 操作 数据 。 而 且 ， 不 需要 事先 声明 数据 
的 结构 。 

如 果 应 用 程序 需要 调用 JSON API， 那 么 拥有 这 样 一 个 能 轻松 转换 JSON 的 系统 就 太 棱 了 。 如 

























































































中 这 个 想法 来 自 于 http://mng.bz/52XI。 如 果 想 运行 这 段 代 码 , 需要 把 -umongodb:secret 替 换 成 自己 的 Twitter 用 户 
名 和 密码 。 
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果 在 存储 之 前 无 法 预先 了 解数 据 的 结构 ， MongoDB 没 有 Schema 约束 的 特性 能 大 大 简化 数据 模型 。 


1.5 提示 与 局 限 


有 了 这 些 优良 的 特性 ， 你 还 需要 牢记 系统 舍弃 的 特性 与 局 限 。 在 使 用 MonogDB 构 建 真 实 的 
应 用 程序 并 用 于 生产 环境 之 前 ， 应 该 注音 一 些 局 限 ， 它 们 大 多 数 都 是 由 于 MongoDB 使 用 内 存 映 
射 文 件 (memory-mapped file ) 而 导致 的 。 

首先 ，MongoDB 通 稼 应 该 运行 于 64 位 的 机 带 上 。32 位 系统 只 能 对 4 GB 内 存 做 寻 址 。 要 知道 ， 
一 般 半数 的 内 存 都 会 被 操作 系统 和 程序 进程 占用 ， 融 只 剩 2 GB 内 人 存 能 用 来 映射 数据 文件 。 因 此 ， 
如 条 运行 在 32 位 的 服务 融 上 ， 还 定义 了 适当 数量 的 索引 ， 那 么 数据 文件 只 能 被 限制 在 1.53 GB。 大 
多 数 生产 环境 系统 的 要 求 都 高 很 多 ， 因 此 一 个 64 位 的 系统 是 必需 的 。” 

使 用 虚拟 内 存 映 射 的 第 二 个 后 果 是 ,数据 占用 的 内 存 会 日 动 按 需 分 配 。 这 样 一 来 , 想 在 共享 
环境 中 运行 数据 库 会 变 得 更 加 肪 烦 。 要 把 MongoDB 用 于 数据 库 服务 硕 ， 最 好 是 能 让 它 运 行 在 一 
人 台 专 门 的 服务 硕 上 。 

最 后 ， 运 行 涡 复制 功能 的 MongoDB 是 十 分 重要 的 ， 尤 其 是 没有 开启 Journaling 日 志 的 时 候 。 
为 MongoDB 使 用 了 内 存 映 射 文件 ， 不 开局 Journaling 日 志 的 话 ，mongoda 发 生 任何 意外 关闭 都 
会 导致 数据 损坏 。 因 此 ， 这 时 最 好 能 有 一 个 备份 以 做 故障 转移 。 对 任何 数据 库 而 言 这 都 是 个 不 
错 的 建议 (重要 的 MySQL 部 署 不 做 复制 是 很 轻率 的 举动 )， 这 对 没有 Journaling 日 志 的 MongoDB 
尤为 重要 。 


























1.6 小结 


本 章 我 们 讲述 了 很 多 内 容 。 概 括 一 下 ，MongoDB 是 一 款 开 源 的 、 基 于 文档 的 数据 库 管理 系 
统 , 是 针对 现代 互联 网 应 用 程序 的 数据 和 伸缩 性 要 求 而 设计 的 , 其 特性 包括 动态 查询 、 二 级 绥 存 、 
快速 的 原子 更 新 和 复杂 的 聚合 ， 还 文 持 基于 月 动 故障 转移 的 复制 和 用 于 水 平 扩展 的 目 动 分 片 。 

说 了 了 这么 多 ,你 应 该 对 这 些 功 能 部 有 了 较 好 的 了 解 。 也 许 你 对 编码 已 经 路 路 欲 试 了 ， 毕 竞 讨 
论 数据 库 的 特性 是 一 回 事 ,在 实践 中 使 用 数据 库 又 是 男 一 回 事 。 接 下 来 的 两 章 我 们 就 来 实践 一 下 。 
首先， 你 将 接触 到 MongoDB JavaScript Shell， 在 与 数据 库 交 互 时 它 太 有 用 了 。 接 下 来 ,第 3 章 将 
市 你 学 习 使 用 驱动 ， 用 Ruby 构 建 一 个 简单 的 基于 MongoDB 的 应 用 程序 。 






































OD 理论 上 来 说 ，64 位 的 架构 可 以 寻 址 16 艾 字 节 ( exabyte ) 内 存 ， 无 论 想 做 什么 都 不 会 再 受到 限制 。 





MongoDB JavaScript/Shell 


本 章 内 容 

口 MongoDB Shell 中 的 CRUD 操作 
口 构建 索引 与 使 用 explain () 

口 获得 帮助 


上 一 章 里 介绍 了 一 些 MongoDB 的 使 用 经 验 , 本章 则 给 出 了 更 实用 的 入 门 知 识 , 通 过 MongoDB 
Shell， 本 和 草 用 一 系列 练习 讲述 了 该 数据 库 的 基本 概念 。 你 将 了 解 到 如 何 创建 、 读 取 、 更 新 、 删 除 
( CRUD ) 文档 ， 且 在 此 过 程 中 还 能 了 解 MongoDB 的 查询 语言 。 除 此 之 外 ,我们 还 会 大 致 了 解 一 
下 数据 库 索 引 ， 以 及 如 何 用 它们 来 优化 查询 。 本 章 结尾 给 出 了 一 些 基本 的 管理 命令 ， 以 及 有 关 如 
何 获 得 帮助 的 建议 。 你 可 以 把 本 章 看 做 对 已 经 介绍 过 的 概念 的 一 个 细 化 ， 也 可 以 看 做 是 对 
MongoDB Shell 中 常用 任务 的 一 个 实用 介绍 。 

如 果 是 第 一 次 接触 MongoDB Shell， 那 么 请 记 住 它 能 满足 你 对 此 类 工具 的 所 有 期 望 ， 它 允许 
查看 并 操作 数据 以 及 省 理 数 据 库 服务 从。 它 与 同类 工具 的 不 同 之 处 在 于 查询 语言 ， 它 没有 使 用 
SQL 这 样 的 标准 化 查询 语言 ， 而 是 使 用 JavaScript 编 程 语言 和 一 套 简 单 的 API 与 服务 需 交 互 。 如 果 
你 不 熟悉 JavaScript， 只 需 了 解 最 基本 的 语言 知识 就 能 使 用 MongoDB Shell 了 。 本 章 中 所 有 的 示例 
都 会 有 详细 的 说 明 。 

如 采 你 照 厦 例子 学 习 本 草 的 内 容 ， 一 定 能 事半功倍 ， 为 此 你 需要 在 自己 的 电脑 上 安装 
MongoDB ( 附录 A 中 有 安装 指南 )。 












































2.1 深入 MongoDB Shell 





MongoDB JavaScript Shell 能 让 你 玩 转 数据 ， 对 文档 、 集 合 以 及 MongoDB 的 特殊 查询 声言 有 
切实 的 体验 。 你 可 以 把 以 下 内 容 当 做 对 MongoDB 的 实用 入 门 。 

我 们 先 说 说 Shell 的 启动 与 运行 ， 人 然后 再 看 看 JavaScript 是 如 何 表 示 文 档 并 将 其 插入 MongoDB 
集合 的 。 为 了 验证 插入 是 否 成 功 ,你 可 以 查询 集合 内 容 。 紧 随 其 后 的 是 更 新 集合 。 最 后 ， 你 还 将 
了 解 到 如 何 清除 并 删除 集合 。 
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2.1.1 局 动 Shell 


如 果 已 按照 附录 A 的 说 明 进 行 了 安装 ， 那么 电脑 上 现在 应 该 已 经 有 一 个 可 正常 工作 的 
MongoDB 了。 请 确保 有 一 个 正在 运行 的 mongod 实 例 ， 随 后 运行 可 执行 文件 mongo 启 动 MongoDB 
shell: 











. /mongo 
如 果 Shell 程 序 启 动 成 功 ， 你 将 看 到 如 图 2-1 所 示 的 界面 。Shell 开 始 的 地 方 显示 了 正 运 行 的 
MongoDB 版 本 ， 还 有 和 当前 选中 的 数据 库 相 关 的 一 些 信 息 。 


| 盟 闪 启 本 Terminal — bash — Fix2t | 
[ky Le@arete ~$]$ mongo | 
MongoDB shell version: 1.8.2 

connecting to: test 

> 国 


图 2-1 ”启动 后 的 MongoDB JavaScript Shell 


如 果 你 异 点 JavaScript， 蕊 上 就 可 以 键入 代码 使 用 Shell。 如 果 不 异 ， 就 请 继续 读 下 去 ， 看 看 
如 何 插 入 自己 的 第 一 条 数据 。 


2.1.2 插入 与 查询 


如 果 启 动 时 没有 指定 其 他 数据 库 ，Shell 会 选择 名 为 Lest 的 默认 数据 库 。 为 了 让 后 续 的 教学 
练习 都 在 同一 个 命名 空间 里 ， 我 们 先 切 换 到 tut orial 数 据 库 : 


> use tutorial 
switched to db tutorial 


你 会 看 到 一 行 消息 ， 说 明 你 已 经 切换 了 数据 库 。 








创建 数据 库 与 集合 
你 也 许 会 感到 奇怪 : 我 们 并 没有 创建 tutorial 数 据 库 ， 又 怎么 能 切换 过 去 呢 ? 实际 上 ， 
创建 数据 库 并 不 是 必需 的 操作 。 数据库 与 集合 只 有 在 第 一 次 插入 文档 时 才 会 被 创建 。 这 个 行为 
与 MongoDB 对 数据 的 动态 处 理 方式 是 一 致 的 ; 因为 不 用 事先 定义 文档 的 结构 ， 单 独 的 集合 和 
数据 库 可 以 在 运行 时 才 被 创建 。 这 能 简化 并 加 速 开发 过 程 ,而 且 有 利于 动态 分 配 命 名 空间 ,很 
多 时 候 这 都 很 管用 。 如 果 你 担心 数据 库 或 集合 被 意外 创建 ,大 多 数 驱 动 都 能 开启 严格 模式 ( strict 
mode )， 避 免 此 类 由 疏忽 引起 的 错误 。 
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现在 是 时 候 创建 你 的 第 一 个 文档 了 。 因 为 正在 使 用 JavaScript Shell, 所 以 将 用 JSON( JavaScript 
Object Notation ) 来 摘 述 文档 。 举 个 例子 ,一 个 最 简单 的 摘 述 用 户 的 文档 如 下 : 


{username: "jones"} 


该 文档 包含 一 对 键 和 值 ， 存 储 了 Jones 的 用 户 名 。 要 保存 这 个 文档 ， 需 要 选择 一 个 集合 ,， 像 下 面 
这 样 把 它 保存 到 users 集 合 里 就 再 恰当 不 过 了 : 

> db.users.insert({username: "smith"}) 
在 键入 这 行 代码 后 你 会 感觉 到 一 丝 延 迟 。 这 时 tutorial 数 据 库 和 users 集 合 都 还 没 在 人 磁盘 上 创 
建 出 来 ， 延 迟 是 因为 要 为 它们 的 初始 化 数据 文件 分 配 空间 。 

如 果 插 入 成 功 ,那么 就 已 经 成 功 地 保存 了 第 一 个 文档 ,可 以 通过 一 条 简单 的 查询 来 进行 验证 : 

> db.users.find() 
查询 的 结果 看 起 来 是 这 样 的 : 

{ _id : ObjectIid("4bf9bec50e32f82523389314"),， username : "smith" } 
请 注意 ,文档 中 添加 了 _igd 和 字段, 你 可 以 把 它 当 做 文档 的 主键 。 每 个 MongoDB 文 档 都 要 求 有 一 个 
_id， 如 采 文 档 创 建 时 没有 提供 该 字段 ， 就 会 生成 一 个 特殊 的 MongoDB 对 象 ID 并 添加 到 文档 里 。 
在 你 一 一 控制 台 里 出 现 的 对 和 象 了 D 与 示例 中 的 并 不 一 样 ， 但 它 在 集合 的 所 有 _id 值 里 是 唯一 的 ， 这 
是 对 该 字段 的 唯一 便 性 要 求 。 

在 下 一 章 里 我 会 详细 介绍 对 象 ID。 现 在 继续 向 集合 中 添加 用 户 : 

> db.users.save({username: "Jones"}) 
集合 里 现在 应 该 有 两 个 文档 了 。 接 下 来 通过 count 命 令 验 证 一 下 : 


> db.users.countl() 
2 


既然 集合 里 文档 的 数量 已 经 不 止 一 个 ， 那 么 就 能 看 些 稍微 复 森 一 点 儿 的 查 词 了 了。 与 之 前 一 样 ， 
可 以 把 集合 里 所 有 的 文档 都 查 出 来 : 


> db.users.findl() 
{ _id : ObjectId("4bf9bec50e32f82523389314")，, username : "smith" } 
{ _id : ObjectId("4bf9bec90e32f82523389315"), username : "jones" } 


但 也 可 以 给 finda 方 法 传人 一 个 简单 的 查询 选择 大 。 查 询 选 择 器 (query selector ) 是 一 个 文档 ， 用 
来 和 集合 中 所 有 的 文档 进行 匹配 。 要 查询 所 有 用 户 名 是 jones 的 文档 ,可 以 像 下 面 这 样 传人 一 个 
简单 的 文档 ， 将 其 作为 查询 选择 硕 : 


> db.users.find({username: "jones"}) 
{ _id : ObjectId("4bf9bec90e32f82523389315"),， username : "jones" 


查询 选择 兹 {username: "jones"} 人 返回 了 所 有 用 户 名 是 jones 的 文档 一 一 它 会 逐 字 匹配 现 有 的 
文档 。 
我 刚才 演示 了 创建 和 读 取 数据 的 基本 方法 ， 现 在 再 来 看 看 如 何 更 新 数据 。 
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2.1.3 ”更 新 文档 


所 有 的 更 新 操作 都 要 求 至 少 有 两 个 参数 , 第 一 个 指明 要 更 新 的 文档 , 第 二 个 定义 被 选中 的 文 
档 应 该 如 何 更 新 。 有 两 种 风格 的 更 新 ; 丁 只 关注 针对 性 更 新 (targeted modification )， 这 是 
MongoDB 独 有 特性 中 最 具 代 表 性 的 。 

举例 来 说 ,假设 用 户 smith 想 要 癌 目 己 的 住所 中 添加 国家 信息 ， 可 以 使 用 如 下 更 新 语句 : 

> db.users.update({username: "smith"}, {$set: {country: "Canada"}}) 
这 条 更 新 语句 告诉 MongoDB 应 找到 用 户 名 是 smith 的 文档 ,将 其 country 属 性 值 设置 为 canada。 
如 果 现 在 执行 查询 ， 你 将 看 到 更 新 后 的 文档 : 





























> db.users.find({username: "smith"}) 
{ "_id" : ObjectId("4bf9ec440e32f82523389316")， 
"country" : "Canada'", username : "smith" } 
稍 后 ， 如 采用 户 决定 档案 中 不 再 保留 国家 信息 ， 使 用 $sunset 操 作 符 就 能 轻松 去 除 该 值 : 
> db.users.update({username: "smith"}, {Sunset: {country: 1}}) 


让 我 们 再 丰 宦 一 下 这 个 例子 。 如 第 1 草 所 示 ， 你 使 用 文档 来 表示 数据 ， 其 中 能 包含 复杂 的 数 
所 结构 。 因 此 ， 让 我 们 假设 一 下 ,除了 存储 个 人 档案 信息 ， 用 户 还 能 用 列表 来 存储 日 己 癌 欢 的 东 
西 。 一 个 好 的 文档 表述 看 起 来 可 能 是 这 样 的 : 











{ username: "smith", 
favorites: { 
cities: ["Chicago", "Cheyenne"], 
movies: ["Casablanca", "For a Few Dollars More", "The Sting"] 


} 
| 


favorites 键 指 癌 一 个 对 象 , 后 者 包含 两 个 其 他 的 键 , 它们 分 别 指 加 喜欢 的 城市 列表 和 电影 
列表 。 就 目前 所 知道 的 知识 ， 你 能 否 想 出 一 个 办 法 将 原来 的 smith 文 档 修改 成 这 样 ? 你 应 该 能 想 
到 sset 操 作 符 。 请 注意 ， 本 例 实 际 是 在 改写 文档 ， 这 也 是 sset 的 合理 用 法 : 


> db.users.update( {username: "smith"}, 











{ Sset: {favorites: 
{ 
cities: ["Chicago", "Cheyenne"], 
movies: ["Casablanca", "The Sting"] 
} 
} 
}) 
让 我 们 对 jones 做 类 似 修改 ,但 这 里 就 添加 两 部 言 欢 的 电影 : 
db.users.update( {username: "jones"}, 
{"Sset": {favorites: 
{ 
movies: ["Casablanca", "Rocky"] 
} 
} 
}) 
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现在 查询 users 集 合 ， 确 保 两 个 更 新 都 成 功 了 : 

> db.users.find() 

有 了 之 前 的 几 个 示例 文档 ， 现 在 可 以 一 壬 MongoDB 碍 询 语言 的 威力 了 。 尤 其 值得 一 提 的 是 ， 
它 的 查询 引擎 能 深入 内 上 藤 对 象 , 匹配 数组 元 素 , 这 种 情况 下 这 种 能 力 特别 有 用 。 你 可 以 使 用 特殊 
的 点 符 扎 来 实现 这 类 查询 。 假 设想 找到 所 有 况 欢 电影 4《 卡 院 布 兰 卡 》( Casablanca ) 的 用 户 ， 能 
用 这 样 的 查询 : 

> db.users.find({"favorites.movies": "Casablanca"}) 

favorites 和 movies 之 则 的 点 告诉 查询 引 苟 应 找 一 个 名 为 favorites 的 键 ， 它 指 癌 一 个 对 
象 ( 该 对 象 有 一 个 名 为 novies 的 内 部 键 ), 然后 匹配 它 的 值 。 这 条 查询 会 把 两 个 用 户 文档 都 返回 。 
更 进一步 ,假设 你 知道 每 个 喜欢 《 卡 辽 布 兰 卡 的 用 户 都 喜欢 《 蕊 耳 他 之 认 》( The Maltese Falcon )， 
且 想 更 新 数据 库 来 反映 这 个 情况 ， 该 如 何 用 一 条 MongoDB 的 更 新 语句 来 表示 呢 ? 

你 可 以 再 次 请 出 $set 操 作 符 ， 但 这 要 求 改 瑟 并 发 送 整 个 movies 数 组 。 既 然 你 想 做 的 只 是 问 
列表 里 添加 一 个 元 素 , 最 好 使 用 $push 或 $adqdToSet, 这 两 个 操作 符 都 是 向 数组 中 添加 一 个 元 素 ， 
但 后 者 会 保证 唯一 性 ， 防 止 重复 添加 。 下 面 就 是 你 要 找 的 更 新 霹 句 : 


























db.users.updatel( {"favorites.movies": "Casablanca"}, 
{SaddToSet: {"favorites.movies'": "The Maltese Falcon"} }, 
false, 
es 


这 条 语句 大 体 上 还 是 易 懂 的 : 第 一 个 参数 是 一 个 查询 选择 从 ， 匹 配 电影 列表 里 有 Casablanca 
的 用 户 ; 第 二 个 参数 使 用 Saaqaqroset 操 作 符 向 列表 中 添加 了 7He Maltese Falcon; 第 三 个 参数 
false 现 在 暂时 忽略 ; 第 四 个 参数 true 说 明 这 是 一 个 多 项 更 新 ( multi-update )。MongoDB 的 更 新 
操作 软 认 只 会 应 用 于 碍 询 选 择 大 匹配 到 的 第 一 个 文档 。 如 果 硕 望 操作 被 应 用 于 匹配 到 的 所 有 文 
档 ， 需 要 显 式 说 明 。 因 为 你 希望 对 smithn 和 jones 都 进行 更 新 ， 所 以 多 项 更 新 是 必需 的 。 

我 们 稍 后 会 对 更 新 做 更 详细 的 说 明 ， 但 请 先 试 试 这 些 例子 。 


2.1.4 删除 数据 


你 已 经 知道 了 在 MongoDB Shell 中 创建 、 读 取 和 更 新 数据 的 基本 方法 了 ， 最 后 我 们 来 看 最 简 
单 的 操作 一 一 删除 数据 。 

如 有 果 不 加 参数 ， 删 除 操作 会 清空 集合 。 要 干掉 foo 集 合 ， 只 和 需 键入 : 

> db.foo.remove() 
通常 只 需要 删除 集合 文档 的 一 个 子 集 ， 为 此 可 以 给 remove () 方 法 传人 一 个 查询 选择 器 。 如 果 想 
要 删除 所 有 喜欢 城市 Cheyenne 的 用 户 ， 用 下 面 这 个 表达 式 就 行 了 : 

> db.users.remove(fnfavorites.cities'": "Cheyenne"}) 
请 注意 ，remove () 操作 不 会 删除 集合 ， 它 只 是 从 集合 中 删除 文档 。 你 可 以 把 它 想象 成 SQL 中 的 


DELETE 和 TRUNCATE TABLE 指 今 。 
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如 有 果 想 删除 集合 以 及 它 的 全 部 索引 ， 可 以 使 用 drop () 方 法 : 

> db.users.drop() 

创建 、 读 取 、 更 新 和 删除 是 所 有 数据 库 的 基本 操作 。 如 果 你 读 过 了 前 面 的 内 容 , 现在 应 该 能 
在 MongoDB 中 实践 这 些 基 本 的 CRUD 操 作 了 。 在 下 一 节 里 , 你 将 了 解 到 二 级 索引 , 通过 它 来 提高 
查询 、 更 新 和 删除 的 性 能 。 


2.2 创建 这 引 并 查询 


创建 索引 来 提升 查询 性 能 是 很 常见 的 做 法 。 很 幸运 ， 你 能 轻松 地 在 Shell 中 创建 MongoDB 的 
索引 。 如 果 没 接触 过 数据 库 索 引 , 本 节 内 容 会 让 你 理解 对 它们 的 需求 ; 如 果 有 过 索引 的 使 用 经 验 ， 
你 会 发 现 创 建 索 引 然 后 使 用 explain () 方 法 根据 索引 来 剖析 查询 有 多 么 方便 。 


2.2.1 创建 一 个 大 集合 


只 有 集合 中 的 文档 达到 一 定 的 数量 之 后 , 索引 示例 才 有 意义 。 因 此 , 加 numbers 集 合 中 添加 200 000 
个 简单 文档 。 因 为 MongoDB Shell 世 是 一 个 JavaScript 解 释 锅 ， 所 以 实现 这 一 功能 的 代码 很 价 单 : 


for(i=0; i<200000; i++) { 
db.numbers.save({num: 1i1}); 























} 
这 些 文档 数量 不 少 ， 因 此 如 来 插入 花 了 不 少时 间 也 不 用 感到 惊讶 。 执行 返回 后 ,可 以 运行 两 
条 查询 来 验证 文档 全 部 存在 : 


> db.numbers.count!() 
200000 





> db.numbers.findl 
{ 


) 

"_1id" : ObjectId("4bfbf132dbalaa7c30ac830a"), "num" : 0 } 
{ "_id" : ObjectId("4bfbfi32dbalaa7c30ac830b"),， "num" : 1 } 
{ "ad" : ObjectIid("4bfbf1i32dbalaa7c30ac830c"),;, "num" : 2 } 
{ "_id" : ObjectId("4bfbfi32dbalaa7c30ac830d"),，, "num" : 3 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac830e"n), "num" : 4 } 
{ "_id" : ObjectId("4bfbfi32dbalaa7c30ac830f"), "num" : 5 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8310"m), "num" : 6 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8311"), "num" 7 } 
{ "_id" : ObjectId("4bfbf132dbalaa7c30ac8312"),， "num" 8 } 
{ "_ id" : ObjectIid("4bfbf132dbalaa7c30ac8313"7), "num" 9 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8314"),， "num" 10 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8315"),， "num" 11 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8316"m),， "num" 12”} 
{ "_id" : ObjectId("4bfbf132dbalaa7c30ac8317"),， "num" L300 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8318"m),， "num" 14 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8319"m),， "num" 8 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac831a"n),， "num" 16 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac831b"),， "num" 17 } 
{" 1id" : ObjectId("4bfbf132dbalaa7ec30ac831ce"), "num’ 18 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac831d"),， "num" 19 } 
has more 
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count () 命令 说 明 搬 人 了 200 000 个 文档 ， 随 后 的 查询 显示 了 前 20 个 结果 ， 你 可 以 用 it 命 令 





显示 更 多 查询 结 采 : 
> 
{ "_id" : ObjectId("4bfbfi32dbalaa7c30ac831e"), "num" : 20 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac831f"), "num" : 21 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8320"m), "num" : 22 } co 


it 命 令 会 告诉 Shell 返 回 下 一 个 结果 集 。” 
手头 有 了 数量 可 观 的 文档 之 后 ， 我 们 试 着 运行 一 些 查询 。 就 你 目前 对 MongoDB 查 询 引擎 的 
了 解 ， 一 个 简单 的 匹配 aum 属 性 的 查询 很 好 理解 : 


> db.numbers.find({num: 500}) 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac84fe"), "num" : 500 } 


但 更 值得 一 提 的 是 ,你 还 可 以 使 用 特殊 的 Sgt 和 $1t 操 作 符 (最早 见 于 第 1 章 , 分 别 表示 大 于 和 小 
于 ) 来 执行 汇 围 查询 。 下 面 的 语句 用 来 查询 num 值 大 于 199 995 的 所 有 文档 : 














> db.numbers.find( {num: {"s$gt": 199995 }} ) 

{ "_id" : ObjectIid("4bfbfidedbalaa7c30afcade"), "num" : 199996 } 
{ "_id" : ObjectId("4bfbfidedbalaa7c30afcadf"), "num" : 199997 } 
{ "_id" : ObjectId("4bfbfidedbalaa7c30afcae0"), "num" : 199998 } 
{ "_id" : ObjectIid("4bfbfidedbalaa7c30afcael1"), "num" : 199999 } 


还 可 以 结合 使 用 这 两 个 操作 符 指 定 上 界 和 下 界 : 


> db numbers fnd( (num (VSoGt 20 SS25) 

{ "_id" : ObjectId("4bfbfi32dbalaa7c30ac831f"), "num" : 21 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8320"), "num" : 22 } 
{ "_id" : ObjectId("4bfbf1i32dbalaa7c30ac8321"), "num" : 23 } 
{ "_id" : ObjectIid("4bfbf1i32dbalaa7c30ac8322"), "num" : 24 } 


可 以 看 到 ， 使 用 简单 的 JSON 文 档 ， 可 以 像 在 SQL 中 一 样 声明 复杂 的 范围 查询 。MongoDB 查 询 语 
言 由 大 量 特殊 关键 字 组 成 ，sgt 和 slt 只 是 其 中 的 两 个 ， 在 后 续 的 章节 中 你 还 会 看 到 更 多 查询 的 
例子 。 

当然 ， 这 样 的 查询 如 果 效 率 不 高 ， 那 么 几乎 一 点 儿 价 值 剖 没 有。 下 一 方 中 我 们 将 探索 
MongoDB 的 索引 特性 ， 开 始 思考 查询 效率 。 

















2.2.2 索引 与 explain() 


如 果 你 使 用 过 关系 型 数据 库 , 想必 对 SQL 的 EXPLAIN 并 不 陌生 。EXPLAIN 用 来 描述 查询 路 径 ， 
通过 判断 查询 使 用 了 哪个 索引 来 帮助 开发 者 诊断 慢 查 询 。MongoDB 也 有 提供 相同 服务 的 
“EXPLAIN”。 为 了 了 了解 它 是 如 何 工 作 的 ， 先 在 运行 过 的 查询 上 试 一 下 : 


J 你 也 许 想 知道 背后 究竟 发 生 了 什么 。 所 有 的 查询 都 会 创建 一 个 游标 ， 可 以 迭代 结果 集 。 这 个 过 程 是 隐藏 在 Shell 
的 使 用 过 程 中 的 ， 因 此 目前 还 没有 必要 详细 说 明 。 如 果 你 迫不及待 地 想 深 入 了 解 游 标 及 其 特性 ， 可 以 阅读 第 3 章 
和 第 4 章 。 
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> db.numbers.find( {num: {"S$gt": 199995 }} ) .explain'() 
返回 结果 如 代码 清单 2-1 所 示 。 


代码 清单 2-1 无 索引 查询 的 典型 explain() 输 出 
{ 


OreSOr es "BaelCCursor,, 
"nscanned" : 200000, 
"nscannedObjects" : 200000, 
jr 

vm Le 

YElas :0 "0 
"nChunkSkips" : 0, 
"ijsMultiKkey" : false, 
"jndexOonly" : false, 
"ijndexBounds" : { } 


) 

查看 sxplain() 的 输出 ， 你 会 惊讶 地 发 现 ， 碍 询 引 警 为 了 返回 4 个 结果 (n ) 扫描 了 整个 集 
合 ， 即 全 部 200 000 个 文档 (nscanned )。Basiccursor 游 标 类 型 说 明 该 查询 在 返回 结果 集 时 没 
有 使 用 索引 。 扫 描 文 档 和 返回 文档 数量 之 间 巨 大 的 差异 说 明 这 是 一 个 低 效 查询 。 在 现实 当中 , 集 
合 与 文档 本 身 可 能 会 更 大 ， 处 理 查 询 所 需 的 时 间 将 大 大 超过 此 处 的 171 ms。 

这 个 集合 需要 索引 。 你 可 以 通过 ensureInaex () 方 法 为 num 键 创建 一 个 索引 。 请 输入 下 列 索 
引 创建 代码 : 


> db.numbers.ensureIndex({num: 1}) 


与 查询 和 更 新 等 其 他 MongoDB 操 作 一 样 ， 你 为 ensureIndex() 方 法 传人 了 一 个 文档 ， 定义 
索引 的 键 。 这 里 ， 文档 {num:1} 说 明 为 numpers 集 合 中 所 有 文档 的 num 键 构建 一 个 升序 索引 。 
可 以 调用 get Indexes () 方 法 来 验证 索引 是 否 已 经 创建 好 了 : 


> Qb .numbers .detImndeXxes ( ) 





























LIE 
"ns" : "tutorial.numbers'", 
YA 

uel 


"_id" : ObjectId("4bfc646b2f95a56b5581efd3"), 
"ns" : "tutorial.numbers'", 
n key n 。 { 
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该 集合 现在 有 两 个 索引 了 ， 第 一 个 是 为 每 个 集合 自动 创建 的 标准 _ia 索 引 ， 第 二 个 是 刚才 在 
num 上 创建 的 索引 。 

如 果 现 在 再 来 运行 explain() 方 法 ,在 查询 的 啊 应 时 间 上 会 有 巨大 的 差 寞 ， 如 代码 清单 2-2 
所 示 O 〇 


代码 清单 2-2 有 索引 查询 的 explain() 输 出 


> db.numbers.find({num: {"sSsgt": 199995 }}) .explain() 
{ 


osoOr tieeCUuUreor uml 











"jndexBounds" : | 
[ 
{ 
"num" : 199995 
了 
{ 
"num" : 1.7976931348623157e+308 
} 
] 


"nscanned" : 5, 
"nscannedObjects" : 4, 
i 

nm Ts" 0 


} 

现在 查询 利用 了 num 上 的 索引 ， 只 扫描 了 5 个 文档 ， 将 查询 时 间 从 171 ms 降 到 了 1 ms 以 下 。 

如 果 这 个 例子 激 起 了 你 的 兴趣 ， 请 不 要 错过 专门 介绍 索引 和 查询 优化 的 第 7 章 。 接 下 来 让 我 
们 看 看 基本 的 管理 命令 ， 它 们 可 以 用 来 获取 MongoDB 实 例 的 信息 。 你 还 将 了 解 到 一 些 技术 ， 它 
们 与 如 何在 Shell 里 获取 帮助 相关 ， 这 有 助 于 掌握 众多 Shell 命 令 。 


2.3 ”基本 管理 


本 昔 承 诺 过 要 通过 JavaScript Shell 来 介绍 MongoDB。 你 已 经 了 解 了 数据 操作 和 索引 的 基本 知 
识 ， 这 里 我 将 介绍 一 些 技术 ， 帮 助 你 获得 mongoda 进 程 的 信息 。 举 例 来 说 ， 你 可 能 想 知道 众多 集 
合 一 共 占 用 了 多 少 空间 , 或 者 你 在 一 个 集合 上 定义 了 多 少 索 引 。 此 处 详 述 的 命令 能 帮助 你 诊断 性 
能 问题 并 监控 数据 。 

我 们 还 会 了 解 MongoDB 的 命令 界面 。 大 多 数 能 在 MongoDB 实 例 上 执行 的 特殊 非 CRUD 操 
作 一 一 从 服务 融 状态 检查 到 数据 文件 完整 性 校 验 都 是 由 数据 库 命 令 实现 的 。 我 将 说 明 
MongoDB 上下文 里 的 命令 ， 并 演示 其 易 用 性 。 最 后 ， 知 道 如 何 寻 求 帮助 总 是 好 的 , 所 以 我 将 指 
出 在 Shell 里 怎么 获得 帮助 ， 以 帮助 你 进一步 了 解 MongoDB。 




















< 


pA 




















2.3.1 获取 数据 库 信息 


你 经 常 想 知道 指定 实例 上 到 底 有 哪些 集合 与 数据 库 ， 符 运 的 是 MongoDB Shell 提 供 了 许多 命 
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令 和 语法 糖 ， 以 此 能 获取 系统 相关 的 信息 。 
show qdqbs 显 示 了 系统 上 所 有 数据 库 的 列表 : 


> show dbs 
admin 
local 

test 
tutorial 


show collections 显 示 了 定义 在 当前 数据 库 里 的 所 有 集合 的 列表 。 “如果 目 前 还 是 选中 了 
Eutorial 数 据 库 ， 你 会 看 到 之 前 用 过 的 集合 : 


> Show collections 





numbers 
system.indexes 
users 


你 可 能 会 对 其 中 的 system. indexes 集 合 感 到 防 生 。 这 是 存在 于 每 个 数据 库 中 的 特殊 集合 ， 
其 中 每 一 项 都 定义 了 数据 库 的 一 个 索引 。 我 们 能 直接 查询 该 集合 , 但 这 样 的 输出 不 易 阅 读 , 还 是 
像 我 们 之 前 看 到 的 那样 ， 使 用 get Indexes () 方 法 更 好 一 些 。 

为 了 获得 数据 库 与 集合 更 底层 的 信息 ，stats () 方 法 非常 有 用 。 在 数据 库 对 象 上 执行 该 方法 














时 ， 会 获得 如 下 输出 : 

> db.stats!() 

; "eollectLrone” 4 
"objects" : 200012, 
"dataSsSize" : 7200832， 
"storageSize" : 21258496, 
"numExtents" : 11, 
"inodexesr 3, 
"ijndexSize" : 27992064, 
LOK 


} 
我 们 还 可 以 在 单独 的 集合 上 执行 stats () 命令: 


> aqb.numbers .stats ( ) 

{ 
"ns" : "tutorial.numbers'", 
"count : 200000,; 
"size" : 7200000, 
"storageSize" : 21250304， 
"numExtents" : 8, 





ndexee uu .2 
"JastExtentSize" : 10066176, 
"Maddindghactor .el 

vace 
"totalIndexSize" : 27983872, 
"indexSizes" : { 


中 还 可 以 键入 范围 更 明确 的 show tables。 


加 


"num 1" : 6676480 


AGREE 
} 


结 琳 文档 中 的 一 些 值 仅 在 复杂 的 调试 情况 中 才 会 有 用 ,但 最 起 人 码 能 知道 指定 集合 和 它 的 索引 2 
到 搬 占 用 了 多 少 空间 。 








2.3.2 命令 工作 原理 


与 截至 目前 本 章 所 描述 的 插 和 入、 更新、 删除 和 查询 操作 不 同 ， 某 些 MongoDB 操 作 是 数据 库 
命令 。 数据库 命令 一 般 都 是 管理 类 命令 ， 比 如 之 前 提 到 的 stats () 方 法 , 但 它们 也 可 能 用 于 控制 
诸 a me 的 核心 MongoDB 特 性 。 

不 管 这 些 命 令 的 功能 是 什么 ， 它 们 的 共同 点 是 ， 在 实现 上 它们 都 是 对 名 为 Scmd 的 特殊 虚 集 
合 的 查询 。 要 明日 这 是 什么 意思 , 来 看 一 个 简单 的 例子 。 还 记得 我 们 是 如 何 调用 stats () 数据 库 
命令 的 吗 : 

> db.stats!() 
stats() 是 一 个 辅助 方法 ， 它 封装 了 Shell 的 命令 调用 方法 。 可 以 输入 下 列 等 效 操作 


> db.runCommand( {dbstats: 1} ) 


该 操作 的 输出 和 stats () 方 法 的 输出 是 一 样 的 。 请 注意 , 命令 是 由 文档 {dbstats: 1} 来 定义 的 。 
一 般 来 说 ， 我 们 可 以 同 runcommangd 方 法 传递 文档 定义 ， 借 此 运行 各 种 命令 。 下 面 是 运行 集合 统 
计 命 令 的 方法 : 

> db.runCommand( {collstats: 'numbers'} ) 
命令 的 输出 你 一 定 不 会 陌生 。 

要 深入 了 解数 据 库 命令 ,我 们 应 该 看 看 runCcommanda () 方 法 到 底 是 怎么 工作 的 。 这 并 不 难 知 

aa Shell 会 输出 所 有 方法 的 实现 ， 只 要 这 些 方 法 忽 咯 括号 就 了 了 了。 我 们 可 以 改变 

ee 命令 : 


> db.runCommand ( ) 


执行 无 括号 的 版 本 ， 一 探究 竟 : 


> db.runCommand 














function (obj) { 
Tf (OF SOBT EE teLTno. ) et 
VAar TE (> 
To = 
SbI = 
} 
return this.getCollection("S$Scmd") .findone (obj).; 
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国 数 中 的 最 后 一 行 无 非 就 是 查询 scmaq 集 合 。 给 它 下 个 恰当 的 定义 ,数据 库 命 令 是 对 特 丈 集合 Scma 
的 查询 ,查询 选择 融 就 是 对 命令 本 刁 的 定义 , 仅 此 而 已 。 你 能 想到 如 何 手工 运行 集合 统计 命令 吗 ? 
这 很 简单 : 

db.scmd.findOone( {collstats: 'numbers'} ); 


使 用 runcommana 辅 助 方 法 会 更 简单 一 点 ， 但 能 了 解 内 部 细节 总 是 好 的 。 
2.4 获得 帮助 


目前 为 止 ， 我 们 已 经 证 实 了 MongoDB Shell 的 价值 ， 可 以 用 它 试 验 数据 和 数据 库 管理 操作 。 
但 是 ， 既 然 我 们 可 能 会 在 Shell 中 花费 大 量 的 时 间 ， 最 好 能 知道 如 何 获得 帮助 。 

内 置 的 帮助 命令 应 该 是 首先 要 考虑 的 。 db .help () 会 列 出 操作 数据 库 对 象 的 常用 方法 , 执行 
db. foo.help() 会 列 出 操作 集合 的 第 用 方法 。 

Shell 中 还 有 内 置 的 Tab 补 全 机 制 , 输入 方法 的 前 几 个 字母 后 按 两 下 Tab 键 , 你 会 看 到 所 有 匹配 
的 方法 。 下 面 是 对 所 有 以 get 打 头 的 集合 方法 的 Tab 补 全 : 


> db.foo.get 

















db.foo.getCollection!l db.foo.getIndexSpecs ( db.foo.getName ( 
db.foo.getDBl db.foo.getIndexes ( db.foo.getShardVersionl 
db.foo.getFulljNamel db.foo.getIindices!l 

db.foo.getIindexkeys ( db.foo.getMongol 








如 果 有 更 大 的 雄心 壮志 ， 又 吕 悉 JavaScript， 那 么 Shell 能 让 你 很 轻松 地 查看 任意 指定 方法 
的 实现 。 举 例 来 说 ， 假 设 你 想 知 道 save () 方 法 到 底 是 如 何 工作 的 。 你 当然 可 以 查阅 MongoDB 
的 源 代码 ,但 还 有 更 人 简单 的 方法 ， 只 需 键 入 不 市 执行 括号 的 方法 名 即 可 。 我 们 一 般 是 这 样 执行 
save() 的 : 


> db.numbers.save({num: 123123123});， 
这 是 查看 save () 实现 的 方法 : 
> db.numbers.save 
function (obj) { 
1 eT el = 
throw "can't save a null"; 
} 
if (typeof obj. id == "undefined") { 
obj._id = new ObjectId; 
return this.insert (obj).; 
} else { 
return this.update({_id:obj._id}, obj, true); 
} 
} 


仔细 阅读 隐 数 定义 ， 你 会 发 现 save () 只 是 对 insert () 和 update() 的 封装 。 如 果 正 保存 的 
对 象 没 有 _id 字 段 ， 这 个 方法 会 添加 该 字段 ， 调 用 insert () ; 否则 执行 更 新 。 
这 个 查看 Shell 方 法 的 小 技巧 很 好 用 ， 在 探索 MongoDB Shell 时 记得 要 多 用 。 
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2.5 小结 


你 已 经 看 过 了 实践 中 的 文档 数据 模型 ， 在 此 之 上 ， 我 们 也 演示 了 很 多 不 同 的 常用 MongoDB 
操作 。 你 已 经 了 解 了 如 何 创建 索引 ， 并 且 通 过 explain () 看 到 了 基于 索引 提升 性 能 的 真实 例子 。 
此 外 ， 你 应 该 可 以 获取 系统 中 与 集合 和 数据 库 相 关 的 信息 ， 也 了 解 了 scmaq 集 合 的 知识 ， 如 果 遇 2 
到 问题 ， 还 可 以 通过 一 些小 技巧 来 寻求 帮助 。 

在 MongoDB Shell 中 可 以 学 到 很 多 东西 ， 但 没什么 能 代替 构建 真实 应 用 程序 的 经 验 。 所 以 下 
一 音 我 们 要 从 一 个 无 忧 无 虑 的 数据 游乐 场 切 换 到 真实 的 数据 车 间 。 你 将 了 解 驱动 是 如 何 工作 的 ， 
随后 使 用 Ruby 驱 动 构建 一 个 简单 的 应 用 程序 ， 用 一 些 真 实 的 数据 来 体验 MongoDB。 


























使 用 MongoDB 编 写 程序 





本 章 内 容 

口 通过 Ruby 介绍 MongoDB API 
口 驱动 的 工作 原理 

口 BSON 格式 与 MongoDB 网 络 协议 
口 构建 完整 的 示例 应 用 程序 


是 时 候 行动 起 来 了 。 虽 然 在 MongoDB Shell 的 实验 里 还 有 很 多 东西 要 学 ,但 只 有 在 用 它 做 过 
东西 之 后 你 才能 发 现 它 的 真实 价值 ， 也 就 是 要 动手 编程 ， 并 认识 一 下 MongoDB 驱 动 。 正 如 之 前 
提 到 过 的 ，10gen 为 几乎 所 有 流行 编程 语言 都 提供 了 有 官方 支持 的 、 遵 循 Apache 协 议 的 MongoDB 
驱动 。 本 书 的 驱动 示例 使 用 的 是 Ruby 语 言 , 但 我 所 要 描述 的 原理 则 放 之 四 海 而 丝 准 ,能 很 轻松 地 
套用 到 其 他 驱动 上 。 如 有 果 你 求知 欲 旺 戌 ， 附 录 DD 中 有 PHP、Java 和 C++ 的 驱动 API。 





初 识 Ruby? 

Ruby 是 一 门 流行 的 、 可 读 性 很 高 的 脚本 语言 。 书 中 代码 示例 的 设计 非常 浅显 为 懂 ， 因 此 就 
算是 不 熟悉 Ruby 的 开发 者 也 能 从 中 获 益 。 如 果 有 难以 理解 的 Ruby' 惯 用 法 出 现 ， 我 会 在 文中 做 解 
释 。 如 果 你 想 花 些 时 间 了 解 一 下 Ruby， 可 以 先 从 官方 的 20 分 钟 教程 (参见 http://mng.bz/THR3 ) 
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我 们 将 分 三 个 步骤 来 探究 使 用 MongoDB 的 编程 。 首先 ， 安装 MongoDB Ruby 驱 动 并 介绍 基本 
的 CRUD 操 作 。 这 一 步 会 很 快 而 且 你 会 很 熟悉 ， 因 为 驱动 API 和 Shell 里 用 到 的 东西 很 类 似 。 其 次 ， 
我 们 会 深入 驱动 之 中 ， 解 释 它 是 如 何 连接 MongoDB 的 。 这 节 的 内 容 也 不 会 过 于 深入 底层 ， 而 是 
介绍 一 般 情 况 下 驱动 背后 做 的 事情 。 最 后 ， 我 们 将 开发 一 个 简单 的 Ruby 应 用 程序 ， 用 它 来 监控 
Twitter。 用 了 真实 的 数据 集 , 我 们 会 看 到 MongoDB 在 现实 场景 中 是 如 何 工作 的 。 本 章 还 为 第 二 前 
分 中 更 深层 次 的 示例 打下 了 基础 。 














3.1 通过 Ruby 使 用 MongoDB 
一 般 在 想到 驱动 时 ， 映 入 脑海 的 都 是 低级 的 位 操作 和 述 印 的 接口 。 感 谢 上 和 带 ，MongoDB 的 
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语言 驱动 和 这 一 点 儿 都 不 沾边 ，API 反 而 设计 得 很 直观 、 很 对 语言 的 胃口 ， 因 此 很 多 应 用 程序 索 
性 直接 把 MongoDB 了 驱动 作为 与 数据 库 通信 的 唯一 接口 。 驱动 API 在 不 同 语言 之 间 保 持 着 相当 的 一 
致 性 ,这 意味 着 ， 如 果 需 要 ， 开 发 者 可 以 轻松 地 在 语言 之 间 进 行 切换 。 如 果 你 是 一 位 应 用 程序 开 
发 者 ， 会 发 现在 使 用 任何 MongoDB 驱 动 时 都 感觉 良 好 且 生 产 率 很 高 ， 不 用 自己 操心 底层 的 实现 
细 市 。 

本 节 将 带 你 安装 MongoDB Ruby 驱 动 ， 连 接 数 据 库 ， 了 解 如 何 执行 基本 的 CRUD 操 作 。 这 将 
为 本 章 最 后 要 构建 的 应 用 程序 打下 基础 。 








3.1.1 安 妆 与 连接 


我 们 可 以 使 用 RubyGems 安 装 MongoDB Ruby 驱 动 ，RubyGems 是 Ruby 的 包 管 理 系统 。 


注意 ”如 果 还 没 在 系统 上 安装 Ruby， 可 以 在 http://www.ruby-lang.org/en/downloads/ 找到 详细 的 安 
装 指南 。 你 还 需要 Ruby 的 包 管 理 器 RubyGems, 可 以 在 http://docs.rubygems.org/read/chapter/3 
找到 RubyGems 的 安装 指南 。 


gem install mongo 

这 条 命令 会 安装 mongo 和 bson” Gem。 我 们 应 该 会 看 到 如 下 输出 (版 本 号 可 能 会 比 下 面 的 
更 高 ): 

Successfully installed bson-1.4.0 

Successfully installed mongo-1.4.0 

2 gems installed 

Installing ri documentation for bson-1.4.0... 

Installing ri documentation for mongo-1.4.0... 


Installing RDoc documentation for bson-1.4.0... 
Installing RDoc documentation for mongo-1.4.0... 


我 们 从 连接 MongoDB 开 始 。 首 先 确 保 mongod 正 在 运行 ， 接 下 来 创建 一 个 名 为 connect.tb 的 文 
件 ， 键 入 以 下 代码 : 


require 'rubygems 





require 'mongo'! 


Qcon = Mongo: :Connection.new 
@db 
Qusers 


@Qcon['tutorial'l] 
@Qdb['users'l] 


头 两 条 require 语 句 保 证 一 定 加 载 了 驱动 ， 接 下 来 的 三 行 实 例 化 了 一 个 连接 ， 将 tutorial 
数据 库 分 配给 了 eapb 变 量 ， 在 ausers 变 量 中 保存 了 一 个 对 users 集 合 的 引用 。 保 存 并 运行 文件 : 


$ ruby connect.rb 














GD BSON 会 在 下 一 节 中 做 详细 说 明 , 它 是 一 种 受 JSON 启 发 的 二 进 制 格 式 , MongoDB 用 它 来 表示 文档 ,bson Ruby Gem 
能 将 Ruby 对 象 序列 化 为 BSON， 反 之 亦 然 。 
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如 果 没 有 抛 出 异常 ， 那 么 你 已 经 成 功 地 用 Ruby 连 接 到 MongoDBJ 了 。 虽 人 然 不 够 诱 人 ， 但 连接 
是 任何 语言 使 用 MongoDB 的 第 一 步 。 接 下 来 ， 我们 使 用 该 连接 插入 文档 。 


3.1.2 ”用 Ruby 插 入 文档 


所 有 MongoDB 驱 动 在 设计 上 都 要 求 使 用 其 语言 中 最 自然 的 文档 表述 方式 。 在 JavaScript 中 
JSON 对 和 象 是 最 明显 的 选择 , 因为 JSON 是 一 种 文档 数据 结构 ; 在 Ruby 中 , 散 列 数据 结构 最 为 合适 。 
原生 的 Ruby 散 列 和 JSON 对 象 只 是 稍 有 不 同 , 最 明显 的 是 JSON 用 冒号 来 分 隔 键 和 值 , 而 Ruby 则 使 
用 =>"。 

如 果 你 是 一 路 跟 痢 示例 做 下 来 的 ， 那 么 继续 癌 connect.rb 文 件 添加 代码 。 你 也 可 以 选择 男 一 
种 不 错 的 方式 ， 即 使 用 Ruby 的 交互 式 REPL irb。 你 可 以 运行 1irb， 载 人 connectrb， 这 样 立 
刻 就 能 访问 到 其 中 实例 化 的 连接 数据 库 和 集合 对 象 了 ,接着 可 以 运行 Ruby 代 码 并 接收 实时 反馈 。 
下 面 就 是 一 个 例子 : 


Ss 1 SF./ CONnnect: rb 

irb(main):001:0> 1id = @users.save({"lastname" => "knuth"}) 

=> BSON: :ObjectId('4c2cfea0238d3b915a000004') 

irb(main) :002:0> @users.find one({"_id" => id}) 

=> {"_1id"=>BSON: :ObjectId('4c2cfea0238d3b915a000004')， "lastname"=>"knuth"} 


让 我 们 为 users 集 合 构建 一 些 文档 。 创 建 两 个 文档 来 表示 用 户 smith 和 jones。 每 个 文档 都 用 
Ruby 散 列 来 表示 并 被 分 配 一 个 变量 : 


smith 
jones 


要 保存 文档 ， 将 它们 传 给 集合 的 ijnsert 方 法 即 可 。 每 次 调用 insert 都 会 返回 一 个 唯一 ID， 
应 该 将 它 保 存在 变量 里 以 便 日 后 获取 数据 : 

smith id = Qusers.insert (smith,) 

jones_id = Qusers.insert (jones) 


可 以 通过 一 些 简 单 的 查询 来 验证 文档 是 否 成 功 保 存 。 通 稼 每 个 文档 的 对 象 ID 都 会 被 保存 在 
_id 键 中 。 可 以 通过 用 户 集合 的 find_one 方 法 来 进行 查询 : 

Qusers.find one({" id" => smith id}) 

Qusers.find one({"_id" => JjJones id}) 


如 条 你 是 在 irb 里 运行 代码 的 , 查询 的 返回 值 会 显示 在 提示 符 中 。 如 末 是 运行 Ruby 文 件 ， 加 
上 Ruby 的 p 方 法 ， 把 结 东 输出 到 屏幕 上 : 


p Qusers.find one({"_id" => smith id}) 


你 已 经 成 功 地 用 Ruby 插 入 了 两 个 文档 ， 现 在 再 来 仔细 看 看 查询 。 


3.1.3 查询 与 游标 
你 刚 使 用 了 驱动 的 f ind_one 方 法 来 获取 单条 结果 .能 这 么 简单 是 因为 findq_one 隐 藏 了 一 些 



































0 = 
{ n last name nn > 1 ] ones n n age" 二 > 40} 























J 在 Ruby 1.9 中 ， 也 可 以 将 冒号 作为 键 值 分 隅 符 ， 但 为 了 保证 向 后 兼容 性 ， 本 书 中 仅 使 用 =>。 
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MongoDB 碍 询 的 细节 。 通 过 标准 的 Eina 方 法 能 对 此 有 所 了 解 ， 以 下 是 两 个 可 能 的 对 数据 集 的 查 
找 操作 : 

@users.find({"last name" => "smith"}) 

@users.find({"age" => {"Sgt" => 20}}) 

很 明显 ， 第 一 个 查询 找 出 了 所 有 1ast_name 是 smith 的 用 户 文档 ， 第 二 个 查询 匹配 所 有 age 
大 于 20 的 文档 。 试 着 在 irb 中 键入 第 二 个 查询 : 


ijrb(main):008:0> @users.find({"age" => {"sgt" => 30}}) 
=> <#Mongo: :CUTrSOLT :0X10109e118 ns="tutorial.users" 
@Qselector={"age" => "Sgt" => 30}}> 


你 将 发 现 的 第 一 件 事 会 是 fina 方 法 并 不 返回 结果 集 ， 而 是 一 个 游标 对 象 。 游 标 出 现在 很 多 
数据 库 系 统 中 ， 出 于 对 效率 的 考虑 ， 壕 代 地 批量 返回 查询 结果 集 。 假 设 users 集 合 包 含 100 万 个 
匹配 查询 的 文档 。 如 果 没 有 游标 ， 就 必须 一 次 性 返回 全 部 这 些 文档 。 立 刻 返 回 这 么 大 的 结果 意味 
者 将 所 有 数据 复制 到 内 存 里 ,通过 网 络 进行 传输 ,然后 反 友 列 化 到 客户 问 。 这 本 不 应 是 个 资源 密 
集 型 操作 ， 为 了 防止 这 种 情况 ， 查 询 实 例 化 了 一 个 游标 ， 以 一 个 可 控 的 分 块 大 小 来 获取 结果 集 。 
当然 ， 这 对 用 户 而 言 是 透明 的 ; 在 按 需 通过 游标 请 求 更 多 结果 、 连 续 调 用 MongoDB 时 ， 会 填充 
驱动 的 游标 缓冲 。 

下 一 市 中 会 更 详细 地 解释 游标 。 回 到 例子 上 ， 现 在 获取 到 $sgt 查 询 的 结果: 


Cursor = @users.find({"age" => {"sSgt" => 20}})) 









































US Sacel de |doel| 
puts doc["last name"l] 
end 


这 里 用 到 了 Ruby 的 each 迭 代 器 ， 它 将 每 个 结果 都 传递 给 一 个 代码 块 ， 本 例 中 ， 稍 后 会 将 
1ast_name 属 性 输出 到 控制 人 台 。 如 果 你 不 熟悉 Ruby 的 迭代 大 ， 下 面 是 一 段 更 二 言 中 立 的 等 效 代 
但: 


Cursor = @users.find({"age" => {"S$gt" => 20}}) 











while doc = cursor.next 
puts doc["last name"l] 
end 


这 个 例子 里 ,我 们 连续 调用 游标 的 next 方 法 ,将 值 赋 给 本 地 变量 doc, 使 用 一 个 简单 的 while 
循环 对 游标 进行 迭代 。 

回想 上 一 章 里 的 Shell 示 例 ， 青 想 想 本 市 的 游标 , 你 会 感到 大 吃 一 惊 。Shell 中 使 用 游标 的 方式 
与 驱动 一 样 , 不 同 之 处 在 于 调用 fina () 时 Shell 会 自动 迭代 前 20 个 游标 结果 。 要 获取 剩 下 的 结 
可 以 通过 it 命 令 继续 手工 迭代 。 


3.1.4 更 新 与 删除 


注意 ， 上 一 章 里 的 更 新 操作 要 求 至 少 有 两 个 参数 : 一 个 碍 询 选 择 表 和 一 个 更 新 文档 。 下 面 是 
一 个 使 用 Ruby 驱 动 的 简单 示例 : 
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eucerevnpdate( last naneN = > "em sese >T ety > "ehieaGt)) 

这 个 更 新 先 查找 1ast_name 是 smith 的 第 一 个 用 户 ， 如 果 找 到 的 话 就 将 它 的 city 值 设置 为 
chicago， 其 中 使 用 了 sset 操 作 符 。 

默认 情况 下 , MongoDB 只 会 更 新 单个 文档 。 就 算 你 有 多 个 用 户 的 姓 是 smith, 也 只 会 更 新 一 
个 文档 。 要 将 更 新 应 用 到 特定 的 smith 上 ， 需 要 癌 查 询 选 择 需 添加 更 多 的 条 件 。 但 如 果 是 想 更 新 
所 有 的 smith 文 档 ， 必 须发 起 多 项 更 新 ( multi-update )。 为 此 ， 我 们 可 以 将 :multi => true 作 
为 第 三 个 参数 传递 给 update 方 法 : 


Qusers.update({"last name" => "smith"}, 
{"oset Ss> {cLty” => "New York™}}, “maltl => true,) 


删除 数据 更 加 简单 ， 使 用 remove 方 法 就 可 以 了 。 该 方法 接受 一 个 可 选 的 查询 选择 器 ， 只 删 
除 那 些 匹配 选择 硕 的 文档 。 如 果 没 有 提供 选 择 术 ， 就 删除 集合 中 的 所 有 文档 。 此 处 ,我 们 要 删除 
age 属性 值 大 于 等 于 40 的 所 有 用 户 文档 : 

Qusers.remove({"age" => {"Sgte" => 40}}) 

如 果 不 带 参 数 ，remove 方 法 会 删除 所 有 的 文档 : 

Qusers.remove 

在 上 一 草 里 我 们 说 过 *emove 实 际 上 并 不 会 删除 集合 ， 要 删除 集合 及 其 索引 ， 可 以 使 用 
drop_collection 方 法: 


Connection = Mongo: :Connection.new 




















db = connectionl['tutorial'l] 
db.drop_collection('users') 


3.1.5 ”数据 库 命令 


在 上 一 章 里 我 们 已 经 见 到 过 数据 库 合 令 了 ， 并 看 了 两 个 stats 命 令 。 此 处 , 我们 将 了 解 如 何 
在 驱动 中 运行 命令 ,例子 就 是 1istDatabases 命 令 ， 这 是 几 个 必须 在 aqmin 数 据 库 上 运行 的 命 
令 之 一 , 在 开启 身份 验证 的 时 候 还 做 了 特殊 处 理 。 关 于 身份 验证 与 aamin 数 据 库 的 详细 内 容 ， 请 
阅读 第 10 曹 。 

首先 ， 实 例 化 一 个 Ruby 数 据 库 对 象 指向 adamin 数 据 库 。 然 后 将 命令 的 查询 说 明 ( query 


specification ) 传 给 commangd 命 令 : 








Qadmin db = Qcon['admin'l] 
Qadmin db.command ({"l]listDatabases" => 1}) 


执行 的 啊 应 是 一 个 Ruby 散 列 ， 罗 列 了 所 有 存在 的 数据 库 和 其 在 磁盘 上 的 大 小 : 


{ 
"databases" => | 
{ 
umnamevu SS Itutorlaln 
"sijzeOnDisk" => 218103808， 
"empty" => false 
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"name" => "admin", 
olzeonDlielk ss > 0 
"empty" => true 


"mame" => 二 ce 本 1 
"sizeOnDisk" => 1, 
"empty" => true 
. 
li 
"totalSize" => 218103808,，, 
"OR => EtEUE 


} 

一 旦 习惯 了 使 用 Ruby 散 列 来 表示 文档 ,几乎 就 可 以 无 缝 地 从 Shell API 过 渡 过 来 。 如 采 你 还 是 
对 通过 Ruby 使 用 MongoDB 感 到 不 安 ， 请 不 用 担心 ，3.3 厄 将 带 你 进行 更 多 的 练习 。 但 现在 我 们 要 
稍 作 停顿 ， 了 人 解 一 下 MongoDB 了 驱动 是 如 何 工 作 的 ， 这 能 让 人 更 多 地 了 人 解 MongoDB 的 设计 ， 以 便 
能 更 有 效 地 使 用 驱动 。 


3.2 ”驱动 是 如 何 工作 的 


现在 你 一 定 会 对 通过 驱动 或 MongoDB Shell 发 出 命令 后 究 苋 发 生 了 什么 感到 好 奇 。 本 市 中 ， 
我 们 会 掀 开 “窗子 ”看 看 驱动 是 如 何 序列 化 数据 并 将 它 传 给 数据 库 的 。 

所 有 的 MongoDB 了 驱动 都 有 三 个 主要 功能 。 首 先 ， 生成 MongoDB 对 象 ID ， 这 是 存储 在 所 有 文 
档 _id 字 上段 里 的 默认 值 。 其 次 ， 了 驱动 会 把 所 有 语言 特定 的 文档 表述 和 BSON 互 相 转 换 ，BSON 是 
MongoDB 使 用 的 二 进 制 数 据 格式 。 前 面 的 例子 中 ,驱动 将 所 有 Ruby 散 列 都 序列 化 成 了 BSON, 然 
后 再 把 数据 库 返 回 的 BSON 反 序列 化 成 Ruby 散 列 。 

最 后 一 个 功能 是 使 用 MongoDB 的 网 络 协 议 通过 TCP 套 接 字 与 数据 库 通信 ,协议 的 具体 内 容 超 
出 了 我 们 的 讨论 范围 。 但 套 接 字 通 信 的 风格 很 重要 ， 尤 其 是 通过 套 接 字 写 人 时 是 否 要 等 符 啊 应 ， 
本 节 中 我 们 会 探讨 这 个 话题 。 


3.2.1 ”对象 ID 生成 


每 个 MongoDB 文 档 都 要 求 有 一 个 主键 ， 它 在 每 个 集合 中 对 于 所 有 文档 必须 是 唯一 的 ， 主 键 
存放 在 文档 的 _ia 字 段 中 。 开 发 者 可 以 随意 使 用 目 定 义 值 作为 _ia， 但 如 末 没 有 提供 该 值 ， 就 会 
使 用 MongoDB 对 象 ID。 在 问 服 务 间 发 送 文 档 前 ， 驱动 会 检查 是 否 提 供 了 _id 字 7 段 ， 如果 没 有 则 生 
成 一 个 适当 的 对 象 D， 和 存储 为 _iq。 

为 MongoDB 对 象 ID 是 全 局 唯一 的 标识 符 ， 所 以 可 以 安全 地 在 客户 端 为 文档 分 配 ID ， 不 用 
担心 会 有 重复 ID。 现 在 , 你 已 经 看 到 过 真实 的 对 象 ID 了 , 但 可 能 没有 注意 到 它们 是 由 12 个 字 节 构 
成 的 。 如 图 3-1 所 示 ， 这 些 学 市 是 有 特定 结构 的 。 
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4c291856 238d3b 19b2 000001 
4 字 节 时 间 惟 ”机 器 ID ”进程 ID ”计数 器 


图 3-1 MongoDB 对 象 ID 格式 


最 开头 的 4 字 节 是 标准 的 Unix 时 间 惟 ,编码 了 从 新 纪元 开始 的 秒 数 。 接 下 来 的 3 字 节 存储 了 机 
锅 ID ,随后 则 是 2 字 节 的 进程 ID。 最 后 3 字 节 存储 了 进程 局 部 的 计数 融 , 每 次 生成 对 象 ID 计数 需 都 
会 加 1。 

使 用 MongoDB 对 象 ID 计 来 的 好 处 之 一 是 其 中 包含 了 时 间 戳 。 大 多 数 驱 动 都 允许 方便 地 提取 
时 间 惟 ， 从 而 提供 文档 的 创建 时 间 ， 精 度 是 最 接近 的 一 秒 钟 。 使 用 Ruby 驱 动 ， 可 以 调用 对 和 象 ID 
的 generation_ time 方法 来 获得 了 D 的 创建 时 间 ， 返 回 值 是 Ruby 的 Time 对 象 : 


ijrb(main):002:0> 1Q = BSON: :ObjectId.new 

=> BSON: :ObjectId('4c41e78f238d3b9090000001') 
irb(lmain):003:0> id.generation time 

= T2535 UT 2010 


很 自然 的 , 我 们 还 可 以 使 用 对 象 ID 根据 对 象 的 创建 时 间 进 行 范 围 查询 。 举 个 例子 ， 如 果 和 希望 
查询 所 有 在 2010 年 10 月 至 2010 年 11 月 之 间 创 建 的 文档 , 可 以 创建 两 个 对 象 ID , 将 它们 的 时 间 戳 分 
别 编码 为 那 两 个 时 间 ， 然 后 对 _ida 发 起 范围 查询 。Ruby 提 供 了 从 任意 Time 对 象 创建 对 象 ID 的 方 
法 ， 因 此 实现 这 一 功能 的 代码 很 简单 : 


OCEdIIg 
nov_id 

















= BSON: :ObjectIid.from time(Time.utc(2010, 10, 1)) 
= BSON: :ObjectId.from time(Time.utc(2010, 11, 1)) 

@users.find({'_id' => {'Sgte' => oct_ id, '$lt' => nov_id}}) 

我 已 经 解释 了 MongoDB 对 象 所 的 基本 原理 及 各 个 字 节 至 后 的 含义 。 剩 下 的 就 是 了 解 它 们 是 
如 何 编码 的 ， 这 是 下 一 节 的 主题 ， 届 时 我 们 还 将 讨论 BSON。 

















3.2.2 BSON 


BSON 是 MongoDB 中 用 来 表示 文档 的 二 进 制 格式 ， 它 既是 存储 格式 ， 也 是 命令 格式 : 所 有 文 
档 都 以 BSON 格 式 存 储 在 磁盘 上 , 所 有 查询 和 命令 都 用 BSON 文 档 来 指定 。 因此, 所 有 的 MongoDB 
驱动 必须 能 在 语言 特定 的 文档 表述 和 BSON 之 间 进 行 转换 。 

BSON 定 义 了 能 在 MongoDB 中 使 用 的 数据 类 型 。 知 道 BSON 包 含 哪些 类 型 , 了 解 它们 的 编码 ， 
这 对 有 效 使 用 MongoDB 以 及 发 牛 性 能 问题 时 的 诊断 都 大 有 好 处 。 

在 本 书 编 写 时 ，BSON 规 范 中 包含 了 19 种 数据 类 型 。 这 就 是 说 ， 文 档 中 的 每 个 值 为 了 能 存储 
在 MongoDB 里 ,必须 要 能 转换 为 这 19 种 类 型 中 的 一 种 。 BSON 类 型 包含 了 很 多 我 们 所 期 待 的 类 型 . 
UTF-8 字 符 串 、32 位 和 64 位 整数 、 双 精度 浮 点 数 、 布 尔 值 、 时 间 戳 和 UTC 日 期 时 间 〈 datetime )。 
但 是 ， 还 有 一 部 分 类 型 是 特定 于 MongoDB 的 。 举 例 来 说 ， 上 一 闻 中 描述 的 对 象 ID 格式 就 有 目 己 
的 类 型 ， 有 针对 模糊 大 字段 (opaque blob ) 的 二 进 制 类 型 ， 如果 霹 言 文 持 的 话 ，MongoDB 里 甚 
至 还 提供 了 符号 类 型 ( symbol type )。 
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图 3-2 摘 述 了 如 何 将 一 个 Ruby 散 列 序列 化 为 正确 的 BSON 文 档 。Ruby 文 档 中 包含 一 个 对 象 ID 
和 一 个 字符 串 。 在 转换 为 BSON 文 档 后 ， 头 部 的 4 字 节 表明 了 文档 的 大 小 〈 可 以 看 到 此 处 是 38 罕 
节 )。 接 下 来 是 两 个 键 值 对 ， 每 对 部 由 一 个 表示 其 类 型 的 学 市 开头 ， 随 后 是 由 nul1 结 尾 的 字符 串 
表示 键 名 ， 然 后 是 被 存储 的 值 ， 最 后 是 一 个 nu1l1 子 市 表示 文档 结 








{ 
"Id eS% BON Ob ectId( de28203123603519B2000003'9， 


"name™ => “smith" 


} Ruby 散 列 形式 的 MongoDB 文 档 





BSON 序 列 化 


4c 2a 2d 31 23 8d 3b 19 b2 00 00 03 
SA 


类 型 7 (对 象 ID) ，"_iqd" 键 ，12 字 节 ID 


SS) 


类 型 2 (字符 串 ) ，"name" 键 ， 字 符 串 长 度 和 字符 串 值 


E99 BSON 形 式 的 MongoDB 文 档 


— 


文档 的 null 结 束 符 
图 3-2” 从 Ruby 转 换 为 BSON 





虽然 不 一 定 要 知道 BSON 的 详情 ， 但 经 验 表 明了 解 BSON 对 MongoDB 开 发 者 是 有 好 处 的 。 举 
个 例子 ,将 对 象 ID 表示 成 字符 串 或 者 BSON 对 象 ID 这 两 种 做 法 都 是 正确 的 。 因 此 ， 以 下 两 个 Shell 
查询 并 不 等 价 : 

db.users.find({_id : BSON::ObjectId('4c41e78f238d3b9090000001')}); 

db.users.find({_ id : '4c41e78f238d3b9090000001'}) 


其 中 只 有 一 个 查询 能 匹配 _id 字 段 ， 这 完全 取决 于 users 集 合 中 的 文档 存储 的 是 BSON 对 象 
ID， 还 是 表示 ID 十 六 进 制 值 的 BSON 字 符 串 。" 这 个 例子 说 明 即 使 只 对 BSON 略 知 一 二 ,在 诊断 简 
单 代 码 问题 时 都 很 有 帮助 。 








Q@ 顺便 说 一 下 ,如果 要 保存 MongoDB 对 象 ID , 应 该 使 用 BSON 对 象 ID , 而 不 是 字符 串 。 除 了 遵循 对 象 ID 的 存储 惯例 ， 
BSON 对 和 象 ID 还 能 比 字 符 串 节省 一 半 以 上 的 空间 。 
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3.2.3 ”网 络 传 输 


除了 创建 对 象 ID 以 及 序列 化 到 BSON, MongoDB 驱 动 还 有 一 项 核心 功能 : 与 数据 库 服务 器 通 
信 。 如 前 文 所 述 , 通信 是 基于 TCP 套 接 字 的 , 使 用 了 自 定义 网 络 协议 。" 这 个 TCP 的 工作 是 相当 底 
层 的 , 大 多 数 应 用 程序 开发 者 对 此 也 并 不 关心 。 此 处 与 开发 者 相关 的 是 要 理解 驱动 何 时 会 等 待 服 
务 顺 的 啊 应 ， 何 时 又 能 不 必 等 待 啊 应 。 

我 已 经 解释 过 查询 是 如 何 工作 的 , 很 显然 ,查询 必须 要 有 一 个 响应 。 回 顾 一 下 ， 当 游标 对 象 
的 next 方 法 被 调用 后 即 会 发 起 一 次 查询 。 这 时 会 把 查询 发 给 服务 右 ， 其 啊 应 是 一 批文 档 。 如 果 
这 批文 档 能 满足 查询 ， 则 不 必 再 和 服务 大 进行 通信 。 但 如 果 碍 询 结 采 较 多 ,恰好 无 法 全 部 放 进 第 
一 个 服务 姨 响 应 中 , 将 会 向 服务 器 发 送 一 个 所 谓 的 getmore 指 令 获 取 下 一 批 查询 结果 。 随 着 游标 
的 迭代 ， 在 查询 结束 前 会 连续 不 断 地 调用 getmore 方 法 。 

上 述 查 询 的 网 络 行为 并 没有 什么 好 让 人 惊讶 的 , 但 说 到 数据 库 写 操作 (插入 、 更 新 及 删除 )， 
默认 的 行为 看 起 来 就 不 怎么 正统 了 。 这 是 因为 在 回 服务 需 写 数据 时 , 张 动 默 认 不 会 等 竺 服务 需 的 
啊 应 。 因 此 在 插入 文档 时 ， 驱动 会 器 套 接 字 写 数据 并 假设 写 入 是 成 功 的 。 让 这 种 做 法 能 成 为 现实 
的 一 种 策略 就 是 客户 端 生成 对 象 ID : 既然 已 经 有 了 文档 的 主键 , 就 没有 必要 等 待 服务 大 返回 该 主 
键 了 。 

这 种 不 关心 结 采 的 写 策 略 让 很 多 用 户 如 坐 针 秆 ; 香 运 的 是 ,该 行为 是 可 配置 的 。 所 有 的 驱动 
都 实现 了 一 个 安全 写 入 模式 ， 对 所 有 的 写 操 作 (插入 、 更 新 及 删除 ) 都 能 开局 该 模式 。 在 Ruby 
中 ， 能 像 这 样 发 起 一 次 安全 插入 : 

@users.insert({"last name" => "james"}, :safe => true) 

以 安全 模式 写 入 时 ， 了 驱动 会 在 插入 消息 后 追加 一 条 特殊 的 getlasterror 命 令 。 它 将 做 两 件 
事 O 第 一 3 get 1asterror 是 一 条 命令 9 因此 需要 和 服务 六 做 一 次 通信 ? 这 保证 了 写 操作 已 经 远 
达 服 务 需 。 第 二 ， 该 命令 验证 了 服务 融 在 当前 连接 中 没有 抛 出 任何 错误 。 如 果 有 错误 被 抛 出 ， 驱 
动 会 发 出 一 个 异常 , 这 一 异常 能 被 优雅 地 处 理 。 我 们 可 以 使 用 安全 模式 来 保证 应 用 程序 的 关键 写 
操作 到 达 服 务 右 ， 也 可 以 在 期 待 显 式 错 误 时 使 用 安全 模式 。 举 例 来 说 ， 经 和 常 要 强调 值 的 唯一 性 。 
如 果 正 在 保存 用 户 数 据 ， 我 们 会 维护 一 个 username 字 上段 的 唯一 性 索引 。 在 有 重复 username 时 ， 
该 唯一 性 索引 会 造成 文档 插入 失败 ， 但 要 知道 插入 失败 的 唯一 途径 就 是 使 用 安全 模式 。 

大 多 数 情况 中 , 恒 重 的 做 法 是 默认 开局 安全 模式 。 随 后 ， 针 对 一 些 写 入 少 但 要 求 高 行 吐 量 的 
应 用 程序 部 分 可 以 选择 关闭 安全 模式 。 要 做 这 种 权衡 并 不 容易 ， 还 有 更 多 安全 模式 选项 要 考虑 。 
在 第 8 章 中 我 们 将 就 此 进行 更 详细 的 讨论 。 

目前 为 止 , 你 了 解 了 驱动 是 如 何 工 作 的 , 应 该 感到 更 舒服 了 , 也许 还 迫不及待 地 想 要 构建 一 
个 真实 的 应 用 程序 ,在 下 一 节 里 ,我 们 会 结合 所 有 的 知识 ,使 用 Ruby 驱 动 来 构建 一 个 基本 的 Twitter 
监控 应 用 。 




























































































QO 一些 驱动 还 支持 Unix 域 套 接 字 通信 。 
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3.3 构建 简单 的 应 用 程序 


我 们 将 构建 一 个 简单 的 应 用 程序 , 用 来 归档 及 显示 微 推 文 。 我 们 可 以 把 它 想象 成 更 大 的 应 用 
程序 中 的 一 个 组 件 , 这 个 应 用 人 允许 用 户 密切 注意 与 其 业务 相关 的 搜索 项 。 该 示例 将 展示 处 理 来 目 
Twitter API 之 类 数据 源 的 JSON， 以 及 将 它 转 成 MongoDB 文 要 有 多 容易 。 如 果 使 用 关系 型 数据 库 ， 
就 不 得 不 事先 设计 一 个 Schema, 可 能 还 会 包含 多 张 数据 表 , 然后 还 要 声明 那些 表 。 使 用 MongoDB 
的 话 ， 这 些 事情 就 都 不 需要 了 ,但 还 能 保留 推 文 文档 丰富 的 结构 ， 并 且 可 以 高 效 地 进行 查询 。 

我 们 称 该 应 用 为 TweetArchiver， 它 由 两 个 组 件 组 成 : 归档 规 和 查看 融 ， 上 归档 需 会 调用 Twitter 
的 搜索 API 保 存 相 关 推 文 ， 查 看 希 用 于 在 Web 浏 览 锅 里 浏览 结果 。 





























3.3.1 本 和 置 


该 应 用 程序 会 用 到 三 个 Ruby 库 ， 可 以 这 样 进行 安装 : 
gem install mongo 


gem install twitter 
gem install sinatra 


有 个 配置 文件 能 在 归档 融和 查看 此 脚本 之 间 进 行 共 至 会 很 有 用 ， 创 建 一 个 名 为 config.rb 的 文件 ， 








yi 人 ML Ed. 

初始 化 如 下 常量 : 
DATABASE NAME = "twitter-archive" 
COLLECTION NAME = "tweets" 
TAGS = ["mongodb", "ruby"] 





自 完 指定 了 应 用 程序 中 使 用 的 数据 库 和 集合 的 名 字 。 然 后 定义 了 一 个 搜索 项 数组 , 我 们 会 把 它们 
发 给 Twitter API。 

接 下 来 是 编写 归档 器 脚本 。 先 从 TweetArchiver 类 开始 ， 用 一 个 搜索 项 来 进行 实例 化 。 然 
后 调用 TweetArchiver 实 例 的 update 方 法 ， 这 会 发 起 一 次 Twitter API 调 用 ， 将 结果 保存 到 
MongoDB 和 集合 里 。 

让 我 们 先 从 类 的 构造 硕 下 手 : 


def initialize (tag) 














connection = Mongo: :Connection.new 


db = Connection{[lDATABASE NAME ] 

Gtweets = db[COLLECTION NAME ] 

@tweets.create index([['id', 1]], :Uniqgque => true) 
@Qtweets.create index([['tags', 1], ['id', -1]]) 


Gtag = tag 
Gtweets found = 0 
end 


initialize 方 法 实例 化 了 一 个 连接 、 一 个 数据 库 对 象 和 用 来 存储 推 文 的 集合 对 象 ， 其 中 还 
创建 了 两 个 索引 。 每 条 推广 都 有 一 个 id 字 段 ( 与 MongoDB 的 _id 字 上段 不 同 )， 代 表 推 文 的 内 部 
Twitter ID。 我 们 为 这 个 字段 创建 了 一 个 唯一 性 索引 ， 以 避免 同一 条 推 文 被 插入 两 次 。 

我 们 还 在 kags 和 id 字段 上 创建 了 一 个 组 合 索引 ，tags 升 序 ，iq 降 序 。 索 引 可 以 指定 是 升序 
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还 是 降序 ， 这 主要 在 创建 组 合 索 引 时 比较 重要 ， 应 该 总 是 基于 目 己 期 竺 的 查询 模式 来 选择 方 癌 。 
因为 我 们 希望 查询 特定 的 标签 ， 并且 按时 间 由 近 及 远 显示 结果 ， 所 以 tags 升 序 、ia 降 序 的 索引 
既 能 用 来 过 小结 果 ， 也 能 用 来 进行 排序 。 如 你 所 见 ， 可 以 用 1 表示 升序 、-1 表 示 降 序 ， 以 此 来 指 
明 索 引 方 回 。 


3.3.2 ”收集 数据 


在 MongoDB 中 可 以 插入 数据 而 无 需 考虑 其 结构 。 因 为 不 用 事先 知道 会 有 哪些 字段 ，Twitter 
可 以 随意 修改 API 的 返回 值 ， 不 会 给 应 用 程序 带 来 什么 不 良 后 果 。 一 般 来 说 ， 如 果 使 用 RDBMS ， 
对 Twitter API ( 说 得 更 广泛 点 ， 对 数据 源 ) 的 任何 改动 都 会 要 求 进行 数据 库 Schema 迁移 。 用 了 
MongoDB ， 应 用 程序 可 能 需要 做 些 修改 来 适应 新 的 数据 Schema， 但 数据 库 本 身 可 以 目 动 处 理 各 
种 文档 风格 的 Schema。 

Ruby 的 Twitter 库 返 回 的 是 Ruby 散 列 ， 因 此 可 以 直接 将 其 传递 给 MongoDB 集 合 对 象 。 在 
TweetArchiver 中 ， 添 加 如 下 实例 方法 : 


def save tweets for (term) 












































Twitter.search (term) .each do |tweet | 
@Qtweets_found += 1 
tweet with tag = tweet.to hash.merge! ({"tags" => [term]}) 
Qtweets.save (tweet with tag) 
end 
end 


在 保存 每 个 推 文 文档 前 ， 要 做 个 小 修改 。 为 了 从 化 日 后 的 查询 ， 将 搜索 项 添加 到 tags 属 性 
中 。 然 后 将 修改 过 的 文档 传递 给 save 方 法 。 代 码 清 单 3-1 中 是 完整 的 归档 剖 代 码 。 


代码 清单 3-1 抓 取 推 文 并 将 其 归档 在 MongoDB 中 的 类 


require 'rubygems 





require 'mongo'! 
require 'twitter' 


下 
class TweetArchiver 


i# Create a new instance of TweetArchiver 
def initialize (tag) 


Connection = Mongo: :Connection.new 

db = connection{[DATABASE _ NAME ] 

Gtweets = db[COLLECTION NAMEI] 

@tweets.create index([['id', 1]], :unigque => true) 
Gtweets. create index([['tags', 1], ['id', -1]]) 


Gtag = tag 
Gtweets found = 0 
end 


def update 
puts "Starting Twitter search for '#{@tag}'..." 
save tweets for(@tag) 
Print "#{@tweets found} tweets saved.\n\n' 
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end 
private 


def save tweets_ for (term) 
Twitter.search (term) .each do |tweet | 
Qtweets _ found += 1 
tweet with tag = tweet.to hash.merge! ({"tags" => [term]}) 
Qtweets.save (tweet with tag) 
end 
end 


end 


剩 下 的 就 是 要 编写 一 个 脚本 , 为 每 个 搜索 项 运行 TweetArchiver 代 码 。 创建 update.rb, 包含 3 
以 下 代码 : 


PEOUTIS File On(eile dl riamel ElineE ey eonftio Nn 
require File.join(File.dirname(__FILE _), 'archirer' ) 


TACS .each do |tag | 


archive = TweetArchiver.new (tag) 
archive.update 
end 


然后 ， 运 行 该 更 新 脚本 : 

$ ruby update.rb 

我 们 会 看 到 一 些 状 态 消 息 ， ee 可 以 打开 MongoDB Shell， 直 
接 查 询 集 合 来 验证 脚本 是 否 能 正 第 运行 : 


> use twitter-archive 

switched to db twitter-archive 
> db.tweets.count() 

30 


为 了 保证 归档 内 容 始终 是 最 新 的 , 可 以 使 用 一 个 cron 任 务 , 每 隔 儿 分 钟 就 运行 一 次 更 新 脚本 。 
但 那 是 管理 的 细节 ， 这 里 的 重点 是 通过 寥寥 几 行 代码 就 能 保存 从 Twitter 查 到 的 推 文 。" 接 下 来 的 
任务 是 显示 结果 。 


3.3.3 碍 看 归档 


我 们 将 使 用 Ruby 的 Sinatra Web 框 架构 建 一 个 简单 的 应 用 ， 用 来 显示 结果 。 创 建 一 个 名 为 
viewettIb 的 文件 ， 和 其 他 脚本 放 在 同一 目录 里 。 随 后 ,新建 views 子 目录 ， 放 人 一 个 名 为 tweets.erb 
的 文件 。 项 目 结构 看 起 来 应 该 像 下 面 这 样 : 


- config.rb 
- archiver.rb 
- Update.rb 
- Viewer.rb 














- /views 
—- tweets.erb 





J 还 可 以 用 更 少 的 代码 来 实现 这 一 功能 ， 这 就 留 给 读者 作为 练习 了 。 
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现在 编辑 viewerrb， 加 入 以 下 代码 。 





代码 清单 3-2 价 单 的 Sinatra 必 用 程序 ， 用 于 显示 并 搜索 Tweet 归 档 
require :TuUbydems ， 
require :mongo'， yy 加 载 库 
require 'sinatra' 


require File.jJjoin(File.dirname(__FILE_ _), 'config') 
configure do 实例 化 tweets 集 合 
db = Mongo: :Conmnect1ion.new[DATABASE NAME ] 
TWEETS = db[COLLECTION NAME ] 
end 
et" /eo 
1f Saramsl Eee 动态 构建 查询 选择 器 
selector = {:tags => params['tag,' ell 
Es 或 者 使 用 空白 选择 器 
selector = {} 
end 
Qtweets = TWEETS.find(selector) .sort(["id", -1]) -© 发 起 查询 
erb :tweets < 人 呈现 视图 
end 





前 面 几 行 代码 加 载 了 所 需 的 库 , 还 有 配置 文件 人 @, 接 下 来 的 配置 块 中 创建 了 一 个 到 MongoDB 
的 连接 ， 向 veere 人 全 的 用 保存 在 党 量 TEers 里 @。 

应 用 程序 中 最 重要 的 部 分 是 get '/' do 之 后 的 代码 ， 这 个 块 里 的 代码 处 理 了 对 应 用 程序 
WA 青 求 。 首 先 ， 构 建 查询 选择 需 : 如 果 提 供 ie 将 

结果 集 限定 在 给 定 标签 里 合 ; 否则 就 创建 一 个 空白 的 选择 需 ， 查 询 会 返回 集合 中 的 全 部 文档 @. 

然后 发 起 查询 个 。 现 在 你 应 该 知道 赋 给 atweets 变 量 的 不 是 结果 集 ， 而 是 一 个 游标 ,我 们 将 在 视 
图 中 对 该 游标 进行 迭代 。 

最 后 一 行 人 呈现 了 视图 文件 tweets.erb， 完 整 代码 如 代码 清单 3-3 所 示 。 


代码 清单 3-3 ”用 于 显示 推 文 的 内 般 Ruby 的 HIML 
<1DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" 
"http://www.w3 .org/TR/xhtml1/DTD/xhtml1i-transitional.dtd"> 
<html lang='en' xml:lang='en' xmilns='http://www.w3.o0rg/1999/xhtml'> 
<head> 
<meta http-egqguiv="Content-Type" content="text/html; charset=UTF-8"/> 























<style> 
body { 
background-color: #DBD4C2.， 
width: 1000px; 
margin: 5Opx auto; 


} 


h2 { 
margin-top: 2em; 
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} 
</style> 


</head> 
<body> 
<hi>Tweet Archive</hi> 


<%$ TAGS.each do |tag| %> 
<a href="/?tag=<%= tag %>"><%= tag %></a> 
< end %> 


<% @tweets.each do |tweet| %> 





<h2><%= tweetl[l'text'] %></h2> 
<p> 
<a href="http://twitter.com/<%= tweetl['from user'] %>"> 
<%= tweetl[l'from user'] 各 > 
</a> 
on < 和 = tweetl[l'created at'] %> 
</pP> 
<img src="<%= tweet['profile image url'] %>" width="48" /> 


< end %®> 


</body> 
</html> 


大 部 分 代码 只 是 混 人 了 ERB 的 HTML，? 其 中 的 重要 部 分 在 结尾 附近 ， 有 两 个 迭代 器 。 第 一 
个 迭代 右 裔 历 了 标签 列表 ， 显示 的 链接 能 将 结果 集 限 定 在 指定 的 标签 上 。@tweets .each 开 头 的 
是 第 二 个 迭代 各 ,， 遍历 了 每 条 推 文 ， 显示 推 文 的 正文 、 创 建 日 期 和 用 户头 像 图 片 。 运 行 应 用 程序 
来 查看 结果: 

S$ ruby viewer.rb 

如 采 应 用 程序 正常 局 动 ， 我 们 将 看 到 标准 的 Sinatra 局 动 消 居 : 


S ruby viewer.rb 
== Sinatra/1.0.0 has taken the stage on 4567 for development 
with backup from Mongrel 


我 们 可 以 打开 Web 浏 览 硕 ， 访 问 http:/localhost:4$67， 页 面 应 该 会 和 网 3-3 类 似 。 单 击 屏 幕 上 
方 的 链接 可 以 缩小 结果 范围 ， 基 于 特定 的 标签 显示 结 采 。 

应 用 程序 就 这 样 完 成 了 ， 不 可 否认 它 比 较 价 单 ， 但 它 演 示 了 MongoDB 的 易 用 性 。 我 们 不 用 
事先 定义 Schema; 能 充分 利用 二 级 索引 加 速 查 询 , 避免 重复 插入; 还 能 相对 简单 地 和 编程 语言 进 
行 集成 。 



































CQ ERB 全 称 是 embedded Ruby。Sinatra 应 用 通过 一 个 ERB 处 理 器 来 运行 tweets.erb 文 件 ， 并 在 应 用 程序 上 下 文中 运算 
< 名 和 名 > 之 间 的 Ruby 代 人 码 。 
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机 春生 hu /localbhosr a567 /nag= mongodb 
| 二 | 不 上 二 寺 |ptp Necaheta67 = mongedb , < 用 cr 
DD 话 ” Appig Yo Goo 了 sn YouTubs Wikipedia ew OM Popularr 


Tweet Archive 


mongodb rubhy 


everyone should go meet Eliot! RT @eliothorowitz 工 1 be hosting MongoDB office hours in 
Mountain View Friday July 9th http://bitJy/ccFauf 


mdipolf on Toe, 06 Jal 2010 17:21:10 +0000 
#mongodb #seattle conference http://www.l0gen.com/conferences/mongoseattle2010 #nosql 


UST on Tue, 06 Jul 2010 15223;37 +0000 


图 3-3 ”Web 浏览 如 中 呈现 的 推 文 归档 


3.4 小结 


我 们 刚刚 学 习 了 通过 Ruby 编 程 语言 同 MongoDB 交 互 的 基础 知识 ， 看 到 了 使 用 Ruby 表 示 文 档 
有 多 简单 ，Ruby 的 CRUD API 和 MongoDB Shell 里 的 CRUD 有 多 相似 。 我们 深入 其 中 , 大 致 了 解 了 
驱动 是 如 何 构建 的 以 及 对 象 ID、 BSON 和 MongoDB 网 络 协议 的 细 方 。 最 后 ， 我 们 还 构建 了 一 个 简 
单 的 应 用 程序 ， 结 合 真实 数据 来 演示 MongoDB 的 使 用 。 虽 然 我 们 还 不 能 目 称 MongoDB 大 师 ， 但 
应 该 已 经 能 用 它 编写 应 用 程序 了 。 

从 第 4 章 开 始 ， 我 们 将 详细 讨论 到 目前 为 止 学 到 的 东西 ， 尤 其 会 探讨 如 何 使 用 MongoDB 来 构 
建 电 子 商 务 应 用 。 那 将 是 个 庞大 的 项 目 ， 而 我 们 只 关注 后 端的 一 些 部 分 。 我 会 展示 该 领域 中 的 一 
些 数 据 模型 ， 你 将 了 解 到 如 何 对 那些 数据 做 插入 和 查询 。 
































MongoDB 与 应 用 程序 开发 





本 书 的 第 二 部 分 会 深入 剖析 MongoDB 的 文档 数据 模型 .查询 语言 和 CRUD 操作 (创建 ` 读 取 、 
更 新 和 删除 )。 

我 们 会 渐进 地 设计 一 个 电子 商务 数据 模型 ， 以 及 管理 这 些 数据 所 必需 的 CRUD 操作 ， 在 此 
过 程 中 上 其 体 讨 论 上 述 几 个 话题 。 因 此 ， 每 划 都 会 以 自 顶 问 下 的 方式 展现 其 主题 内 容 ， 先 给 出 示 
例 电 子 商 务 应 用 程序 领域 里 的 例子 ， 然 后 系统 地 描述 各 个 细节 。 一 开始 ， 你 可 能 只 想 了 解 电子 
商务 示例 ， 然 后 再 了 解 细 刷 内 容 ， 反 之 亦 然 。 

在 第 4 章 里 ， 你 将 了 解 到 一 些 Schema 设计 原则 ， 随 后 为 产品 、 分 类 、 用 户 、 订 单 和 产品 评 
论 构造 基本 的 电子 商务 数据 模型 。 你 还 将 了 解 到 MongoDB 如 何 组 织 数据 库 、 和 集合 和 文档 级 别 
的 数据 。 其 中 还 会 包含 一 个 BSON 核心 数据 类 型 的 小 结 。 

第 5 章 涉 及 了 MongoDB 的 查询 语言 和 聚合 函数 。 你 将 了 解 到 如 何 对 上 一 革 里 开发 的 数据 
模型 发 起 第 用 查询 ， 还 会 练习 使 用 一 些 肾 合 商 数 。 在 “具体 细 证 ”部 分 ， 你 会 看 到 查询 操作 符 
详细 的 语义 。 本 章 结 尾 处 解释 了 MapReduce 和 分 组 函数 。 

第 6 革 通 过 MongoDB 的 更 新 和 删除 操作 , 为 我 们 完整 呈现 了 电子 商务 数据 模型 的 理论 依据 。 
你 将 了 解 到 如 何 维护 分 类 层级 , 如 何事 务 性 地 管理 库存 。 此 外 , 这 一 章 还 会 详细 介绍 更 新 操作 符 ， 
涉及 强大 的 findAndModify 命令 。 

















面 问 文 档 的 效 据 





本 章 内 容 

口 Schema 设计 

口 电子 商务 数据 模型 

口 数据 库 、 集 合 与 文档 


本 章 详 细 介 绍 了 面向 文档 的 数据 建 模 ， 以 及 数据 库 、 集 合 与 文档 级 别 的 数据 在 MongoDB 中 
是 如 何 组 织 的 。 我 会 先 简 单 前 述 一 下 Schema 的 设计 ， 这 是 很 有 大 助 的 ， 因 为 大 量 MongoDB 用 户 
从 未 给 传统 RDBMS 以 外 的 数据 库 设 计 过 Schema。 此 处 讨论 到 的 原则 为 本 章 第 二 部 分 做 了 铺垫 ， 
第 二 部 分 里 我 们 会 看 到 一 个 MongoDB 的 电子 商务 Schema。 通 篇 你 会 看 到 这 个 Schema 与 等 价 的 
RDBMS 的 Schema 有 何 区 别 , 还 会 了 解 到 MongoDB 中 典型 的 实体 关系 是 如 何 表示 的 ， 比 如 一 对 多 
和 多 对 多 的 实体 关系 。 该 电子 商务 Schema 还 会 作为 后 续 各 章 中 讨论 查询 、 聚 合 与 更 新 的 基础 。 

既然 文档 是 MongoDB 原 生 的 东西 ， 我 将 用 本 章 的 最 后 部 分 来 讨论 文档 及 其 周边 的 小 细 市 与 
边 边 角 角 的 内 容 。 这 意味 着 相 比 你 目前 所 擎 握 的 知识 , 本 和 草 会 更 详细 地 讨论 数据 库 、 集 合 与 文档 。 
如 果 能 读 到 最 后 ， 你 就 会 熟悉 MongoDB 文 档 数据 最 星 涩 的 特性 与 局 限 。 以 后 也 许 你 还 会 来 阅读 
本 章 的 最 后 一 六， 因为 其 中 包含 了 很 多 在 实际 使 用 MongoDB 的 过 程 中 会 遇 到 的 陷阱 。 




















4.1 Schema 设计 原则 


设计 数据 库 Schema 是 在 已 知 数据 库 系 统 特性 .数据 本 质 以 及 应 用 程序 需求 的 情况 下 为 数据 集 
选择 最 佳 表 述 的 过 程 。 关 系 型 数据 库 系 统 的 Schema 设计 原则 已 经 很 完整 了 ， 在 RDBMS 中 豆 励 使 
用 正规 化 的 数据 模型 ， 这 能 帮助 确保 可 查询 性 ， 避 免 对 数据 的 更 新 造成 数据 不 一 致 。 而 且 ， 已 有 
的 这 些 模式 能 避免 开发 者 产生 疑问 ， 比 如 如 何 建 模 一 对 多 和 多 对 多 关系 。 但 就 算是 在 关系 型 数据 
库 中 , Schema 设计 也 不 是 一 门 精确 的 科学 。 高 性 能 要 求 的 应 用 程序 或 者 需要 处 理 非 结构 化 数据 的 
应 用 程序 可 能 会 要 求 一 个 更 通用 的 数据 模型 。 一 些 应 用 程序 对 存储 和 伸缩 性 要 求 颇 高 ， 以 至 于 要 
打破 所 有 旧 的 Schema 设 计 规则 。FriendFeed 就 是 一 个 很 好 的 例子 ， 这 里 有 篇 描述 该 站 点 非 传 统 数 
据 模型 的 文章 值得 一 读 ， 详 见 http:/mng.bz/ycG3 。 

如 果 你 来 目 RDBMS 的 世界 , MongoDB 的 这 种 缺乏 人 硬性 Schema 设计 规则 的 做 法 可 能 会 让 你 感 
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到 不 太 适 应 。 虽然 涌现 出 了 一 些 好 的 实践 , 但 对 给 定数 据 集 的 建 模 方法 往往 不 止 一 个 。 本 市 的 前 
提 是 其 中 介绍 的 原则 能 驱动 Schema 的 设计 , 但 现实 情况 是 , 那些 原则 都 是 可 以 变通 的 。 在 任何 数 
据 库 系统 中 建 模 数据 时 ， 下 面 这 些 问题 都 值得 考虑 。 

口 数据 的 基本 单元 是 什么 ”在 RDBMS 中 有 市 列 和 行 的 数据 表 。 在 键 值 存储 中 有 指 癌 不定 类 

型 值 的 键 。 在 MongoDB 中 ， 数 据 的 基本 单元 是 BSON 文 档 。 

口 如 何 查 询 并 更 新 数据 ? 一 旦 理解 了 基本 数据 类 型 ， 我 们 震 要 知道 如 何 操作 数据 。RDBMS 
有 即时 查询 和 联结 操作 查询 。MongoDB 也 有 即时 查询 ， 但 不 支持 联结 操作 。 人 简单 的 键 仁 
存储 只 能 根据 单个 键 来 获取 值 。 
根据 允许 的 更 新 类 型 ， 数 据 库 也 有 所 区 分 。RDBMS 中 ， 可 以 使 用 SQL 以 复杂 的 方式 来 更 
新 文档 , 将 多 条 更 新 封装 在 一 个 事务 中 以 获得 原子 性 ,还 能 回 深 。 MongoDB 不 支持 事务 ， 
但 它 文 持 多 种 原子 更 新 操作 ， 这 些 操作 可 作用 于 复杂 文档 的 内 部 结构 。 人 简单 键 值 存储 中 ， 
可 以 更 新 一 个 伸 ， 但 通常 每 次 更 新 都 是 将 值 完 全 蔡 换 挥 。 

其 要 点 是 构建 最 佳 数 据 模 型 意味 着 理解 数据 库 的 特性 。 如 有 果 想 在 MongoDB 里 很 好 地 建 模 
数据 ， 必 须 先 理解 它 擅 长 于 哪 种 查询 和 更 新 。 

口 应 用 程序 的 访问 模式 是 什么 ? 除了 理解 数据 的 基本 单元 和 数据 库 的 特性 ， 还 需要 明确 应 

用 程序 的 需求 。 如 果 你 该 了 刚才 提 到 的 FriendFeed 的 文章， 就 会 明白 应 用 程序 的 特质 能 轻 
而 匈 举 地 让 Schema 打破 固有 的 数据 建 模 原则 。 结 论 就 是 在 确定 理想 的 数据 模型 前 ， 必 须 
问 无 数 个 与 应 用 程序 有 关 的 问题 。 谈 写 比 是 多 少 ? 需要 何 种 查询 ?数据 是 如 何 更 新 的 ? 
能 想到 什么 并 发 问题 ?数据 的 结构 化 程度 如 何 ? 

最 好 的 Schema 设 计 总 是 源 于 对 正在 使 用 的 数据 库 的 深 入 理解 、 对 应 用 程序 需求 的 准确 判断 
以 及 过 去 的 经 验 。 本 草 的 示例 以 及 附录 B 中 的 Schema 设 计 方 式 都 将 帮助 你 培养 一 种 直觉 ， 以 便 能 
出 色 地 完成 MongoDB 中 的 Schema 设 计 。 学 习 了 这 些 例 子 之 后 ， 你 就 能 为 目 己 的 应 用 程序 设计 优 
秀 的 Schema 了 。 
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下 一 代数 据 存储 的 演示 一 般 都 是 围绕 着 社交 媒体 : 以 Twitter 类 演示 应 用 居多 。 遗 憾 的 是 此 类 
应 用 倾向 于 使 用 简单 的 数据 模型 。 这 就 是 为 什么 本 章 以 及 后 续 各 章 中 要 使 用 更 丰富 的 电子 商务 领 
域 模型 了 ， 其 中 包含 了 很 多 为 人 熟知 的 数据 建 模 模式 。 而 且 也 不 难 想象 产品 、 分 类 、 产 品评 论 与 
订单 是 如 何在 RDBMS 中 建 模 的 。 这 会 让 即将 登场 的 示例 更 具 启 发 性 ， 因 为 可 以 将 它们 与 预想 的 
Schema 设 计 进 行 对 比 。 

电子 商务 通常 是 专属 于 RDBMS 的 一 块 领域 ,这 是 有 原因 的 。 首 先 ， 电 子 商 务 站 点 通常 要 求 
有 事务 ， 而 事务 是 RDBMS 的 主要 特性 。 其 次 ， 直 到 最 近 为 止 ， 要求 有 富 数据 模型 和 完善 的 查询 
的 领域 都 会 假定 自己 最 适合 RDBMS。 下 面 的 例子 会 对 第 二 个 假设 提出 质疑 。 

在 继续 之 前 , 需要 做 一 点 说 明 。 在 本 书 中 介绍 如 何 构 建 完整 的 电子 商务 后 端 并 不 实际 。 我 们 
要 做 的 是 选取 少量 的 电子 商务 实体 ， 演 示 如 何在 MongoDB 中 对 其 进行 建 模 ， 尤 其 会 关注 产品 与 
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分 类 、 用 户 与 订单 ， 还 有 产品 评论 。 针 对 每 个 实体 ， 我 都 将 展示 示例 文档 。 随 后 ,我 们 还 会 看 到 
一 些 数 据 库 特 性 ， 它 们 能 进一步 补充 文档 的 结构 。 

对 很 多 开发 者 而 言 ， 数 据 建 模 总 会 伴随 着 对 象 映 射 ， 为 此 你 可 能 使 用 过 对 象 关 系 映 射 库 ， 比 
如 Java 的 Hibernate 或 者 Ruby 的 ActiveRecord, 这 些 库 几乎 就 是 在 RDBMS 上 有 效 构 建 应 用 程序 的 必 
需 品 。 但 是 MongoDB 对 此 几乎 没什么 需要 ， 部 分 原因 是 文档 已 经 是 类 似 对 象 的 表述 了 。 此 外 还 
和 驱动 有 关 ， 驱 动 为 MongoDB 提 供 了 相当 高 阶 的 接口 ， 仅 用 驱动 接口 就 能 在 MongoDB 之 上 构建 
完整 的 应 用 程序 。 

有 人 说 ， 对 象 映射 融 很 方便 ， 因 为 它们 有 助 于 进行 验证 、 类 型 检查 和 关联 。 很 多 成 丈 的 
MongoDB 对 象 映 射 硕 在 基本 语言 驱动 之 上 又 提供 了 一 层 额 外 的 抽象 ， 在 大 项 目 中 可 以 考虑 选择 
其 一 。 "但 是 ， 不 管 是 否 使 用 对 象 映 射 锅 ， 最 终 总 是 在 和 文档 打交道 。 这 就 是 本 章 关 注 于 文档 本 
号 的 原因 。 知 道 在 一 个 精心 设计 的 MongoDB Schema 里 文档 是 什么 样 的 ， 这 能 让 你 更 好 地 使 用 该 
数据 库 ， 有 没有 对 象 映 射 硕 都 是 如 此 。 





























4.2.1 产品 与 分 类 


产品 和 分 类 是 任何 电子 商务 站 点 都 必 不 可 少 的 内 容 。 在 一 个 正规 化 的 RDBMS 模 型 中 ， 产 品 
倾向 于 使 用 大 量 的 数据 表 ， 总 会 有 张 表 用 来 存储 基本 产品 信息 ， 比 如 名 称 和 SKU”， 还 有 一 些 其 
他 表 用 来 关联 送 贷 信息 和 价格 历史 。 如 果 系 统 允 许 产 品 汕 有 任意 属性 , 那么 还 需要 一 系列 复杂 的 
表 来 定义 并 存储 那些 属性 ， 正 如 你 在 第 1 章 的 Magento 示 例 中 看 到 的 那样 。 这 种 多 表 Schema 在 
RDBMS 表 联结 能 力 的 帮助 下 很 有 用 。 

在 MongoDB 中 对 产品 建 模 应 该 会 简单 很 多 ， 因 为 集合 并 不 一 定 要 有 Schema， 任 何 产品 文档 
都 可 以 容纳 产品 所 需 的 各 种 动态 属性 。 通 过 使 用 数组 来 容纳 内 部 文档 结构 ， 还 可 以 将 RDBMS 里 
的 多 表 表 述 精 简 成 一 个 MongoDB 的 集合 。 更 具体 一 点 ， 下 面 是 一 个 取 自 园艺 商店 的 示例 产品 。 


代码 清单 4-1 示例 产品 文档 
ddc = 
{ _id: new ObjectId("4c4b1476238d3b4dd5003981")， 
slug: "wheel-barrow-9092", 


























sku "9092", 
name: "Extra Large Wheel] Barrow", 
description: "Heavy duty wheel barrow..." 


details: { 
weight: 47, 
welghit UnLtee viIBSs,, 
model num: 4039283402,， 
manufacturer: "Acme", 
Color: "Green'" 


中 想 知道 哪个 对 象 映射 器 是 你 语言 里 最 流行 的 ， 可 以 看 看 http:/mongodb.org 里 的 建议 。 
@) SKU 是 Stock Keeping Unit 的 缩写 ， 即 最 小 存货 单位 。 一 一 译 者 注 
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total reviews: 4, 
average review: 4.5, 
Pricing: { 
retail: 589700, 
sale: 489700, 
J 


2 一 二 ~ 


price history: [ 
{retail: 529700, 
sale: 429700, 
start: new Date(2010, 4, 1),， 
end: new Date(2010, 4, 8) 
}, 


{retail: 529700, 
sale: 529700,， 


category_ids: [new ObjectIid("6a5b1476238d3b4dd5000048")， 
new ObjectId("6a5b1476238d3b4dd5000049")]， 


main_cat_id: new ObjectId("6a5b1476238d3b4dd5000048")， 
tags: ["tools", "gardening", "soll"]; 

} 

该 文档 包含 基本 的 name 、sku 和 description 字 上 段 。 _id 宁 上 段 里 还 存储 着 标准 的 MongoDB 
对 象 ID, 此 外 , 这 里 定义 了 一 个 短 名 称 wheel-barrow-9092, 以 便 提 供 有 意义 的 URL。 MongoDB 
的 用 户 有 时 会 抱怨 UREL 里 的 对 象 ID 太 难 看 了 ， 通 第 来 说 ， 你 不 会 喜欢 下 面 这 样 的 URL: 

http://mygardensite.org/products/4c4b1476238d3b4dd5003981 

意义 的 ID 会 更 好 一 点 : 

http://mygardensite.org/products/wheel-barrow-9092 

如 果 要 为 文档 生成 一 个 URL, 我 通常 会 建议 增加 一 个 短 名 称 字段 。 这 个 字段 应 该 有 唯一 性 索 
引 ， 这 样 就 能 把 其 中 的 值 用 作 主 键 。 假 设 将 这 个 文档 存储 在 prodqucts 集 合 里 ， 可 以 像 下 面 这 样 
创建 唯一 性 索引 : 

db.products.ensureIndex({slug: 1}, {unigque: true}) 

如 采 在 slug 上 有 唯一 性 索引 ， 那 么 需要 在 插入 产品 文档 时 使 用 安全 模式 ， 这 样 就 能 得 知 插 
入 成 功 与 否 。 需 要 的 话 ， 可 以 换 一 个 不 同 的 短 名 称 进行 重 试 。 举 个 例子 ,假设 园艺 商店 里 销售 多 
种 手推车 , 在 开 售 新 的 手推车 时 , 代码 需要 为 新 产品 生成 一 个 唯一 的 短 名 称 。 以 下 是 在 Ruby 中 执 
行 插入 的 代码 : 

Qproducts.insert({:name => "Extra Large Wheel Barrow'", 


:Sku 二 > 0 OD 
lg > "wheel parrow 9092" 

















:Safe => true) 
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这 里 需要 重点 说 明 的 是 指定 了 :safe => true。 如 果 插 和 成功， 没有 抛 出 异常 ， 表 明 选 择 
了 一 个 唯一 的 短 名 称 。 但 如 末 抛 出 异常 ， 代 人 码 就 需要 用 一 个 新 的 短 名 称 进行 重 试 。 

接 下 来 , 有 一 个 名 为 aetails 的 键 , 指 癌 包 含 不 同 产品 详细 信息 的 子 文档 , 其 中 规定 了 重量 、 
计 重 单位 以 及 厂家 的 型 号 代码 ,你 也 可 以 存储 其 他 特定 属性 。 举 例 来 说 ， 如 来 在 销售 种 子 ， 可 以 
在 其 中 包含 预期 产量 与 收获 时 间 ; 如 末 在 销售 制 草 机 ， 可 以 包含 马力 、 燃 料 类 型 和 护 根 选项 。 
details 属 性 为 这 些 动态 属性 提供 了 一 个 很 好 的 容 右 。 

请 注意 , 还 可 以 在 同一 个 文档 中 存储 产品 的 当前 价格 和 历史 价格 。pricing 键 指向 一 个 包含 
零售 价 和 特价 的 对 象 。price_history 则 恰恰 相反 ， 指 回 一 个 价格 数组 。 像 这 样 存 储 文档 副本 
是 一 种 常见 的 版 本 化 技术 。 

随后 是 一 个 产品 标签 名 称 的 数组 ， 在 第 1 草 里 我 们 看 到 过 类 似 的 标签 示例 ， 这 个 技术 值得 反 
复 演 示 。 这 是 最 简单 、 最 佳 的 存储 条 目 相关 标签 的 途径 ， 同 时 还 能 保证 查询 的 高 效 性 ， 因 为 可 以 
索引 数组 键 。 

那么 关系 呢 ? 我 们 可 以 使 用 富 文档 结构 ， 比 如 子 文档 和 数组 ， 在 单个 文档 中 存储 产品 细节 、 
价格 和 标签 , 但 最 终 可 能 需要 关联 其 他 集合 中 的 文档 。 开始 时 , 我 们 会 把 产品 关联 到 一 个 分 类 里 ， 
这 种 产品 与 分 类 之 间 的 关系 通常 会 表示 为 多 对 多 关系 , 每 个 产品 属于 多 个 分 类 ,而 每 个 分 类 又 能 
包含 多 个 产品 。 在 RDBMS 中 ， 我 们 会 使 用 联结 表 表示 这 样 的 多 对 多 关系 。 联 结 表 在 单个 表 中 存 
储 两 个 表 间 的 所 有 关系 引用 。 使 用 SQL 的 join 可 以 发 起 一 条 查询 ， 检 索 产 品 以 及 它 的 全 部 分 类 ， 
有 反之 亦 然 。 

MongoDB 不 文 持 联 结 操作 ， 因 此 需要 一 种 不 同 的 多 对 多 策略 。 看 看 手推车 的 文档 ， 你 会 发 
现 一 个 名 为 category_idqs 的 字段 ， 其 中 包含 一 个 对 象 ID 的 数组 。 每 个 对 象 ID 都 是 一 个 指针 ， 指 
问 某 个 分 类 文档 的 _iq 宇 段 。 下 面 是 一 个 演示 用 的 分 类 文档 。 


代码 清单 4-2 分 类 文档 
doc = 
{ _id: new ObjectId("6a5b1476238d3b4dd5000048")， 
slug: "gardening-tools", 





















































ancestors: [{ name: "Home", 
_id: new ObjectId("8b87fb1476238d3b4dd500003")， 
slug: "home" 


}, 


{ name: "Outdoors", 
_id: new ObjectId("9a9fb1476238d3b4dq5000001")， 
slug: "outdoors" 


| 
] ， 


Darent id: new ObjectId("9a9fb1476238dqd3p4adaQq5000001") ， 


name: "Gardening Tools", 
description: "Gardening gadgets galore!", 


} 
如 果 回 头 看 看 产品 文档 , 仔细 观察 category_ids 字 段 里 的 对 象 D, 你 会 发 现 该 产品 关联 了 
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刚才 的 Gardening Tools 分 类 。 在 产品 文档 中 放 入 category_idqs 数 组 键 让 那些 多 对 多 查询 成 为 可 
能 。 举 例 来 说 ， 查 询 Gardening Tools 分 类 里 的 所 有 产品 ， 代 人 码 很 简单 : 
db.products.find({category ids => category['_id']}) 

要 查询 指定 产品 的 所 有 分 类 ， 可 以 使 用 sin 操作 符 ， 它 类 似 于 SQL 的 IN 指 令 : 

db.categories.find({_ id: {$in: product['category ids']}}) 

有 了 刚才 摘 述 的 多 对 多 关系 ， 再 来 说 说 分 类 文档 本 吴 。 你 一 定 已 经 注意 到 了 标准 的 _ia、 
slug、name 和 aqescription 字 段 , 它们 都 很 直 和 堆 了 当 , 可 是 父 文档 数组 的 含义 就 不 那么 清楚 了 。 
为 什么 要 用 这 么 大 的 篇 幅 为 每 个 文档 元 余 存 储 祖先 分 类 ? 事实 是 分 类 总 是 被 设想 为 有 层级 的 ， 
在 数据 库 中 表示 这 种 层级 的 方式 有 很 多 种 。 "选择 的 策略 总 是 依赖 于 应 用 程序 的 需求 。 本 例 中 ， 
由 于 MongoDB 不 文 持 关联 查询 ， 我 们 选择 了 去 正规 化 ， 将 上 级 分 类 的 名 称 放 人 每 个 子 分 类 的 文 
档 里 。 这 样 一 来 ,查询 Gardening Products 分 类 时 ， 诫 不 需要 执行 额外 的 查询 来 获取 上 级 分 类 
( Outdoors 和 Home ) 的 名 称 和 URLT。 

一 些 开发 者 可 能 会 觉得 这 种 级 别 的 去 正规 化 是 不 可 接受 的 还 有 其 他 方式 可 以 用 来 表示 树 结 
构 ， 附 录 B 里 就 讨论 了 其 中 一 种 方式 。 但 就 目前 而 言 ， 最 佳 的 Schema 是 由 应 用 程序 需求 决定 的 ， 
无 需 受 制 于 理论 , 试 大 接受 各 种 可 能 性 吧 。 在 接 下 来 的 两 草 里 你 将 看 到 更 多 对 这 种 结构 进行 查询 
与 更 新 的 例子 ， 其 中 的 基本 原理 会 变 得 越 来 越 明 朋 。 



























































4.2.2 用户 与 订单 


看 看 如 何 对 用 户 与 订单 建 模 ,以 此 阐明 男 一 种 第 见 关 系 一 一 一 对 多 关系 ,就 是 说 每 个 用 户 痢 
有 多 张 订单 。 在 RDBMS 中 ， 会 在 订单 表 里 使 用 外 键 ; 此 处 的 惯例 很 相似 。 请 看 代码 清单 4-3。 


代码 清单 4-3 ”电子 商务 订单 ， 带 有 条 目 明 细 、 价 格 和 送 赁 地 址 


de 
{ _id: ObjectId("6a5b1476238d3b4dd5000048") 
user_id: ObjectId("4c4b1476238d3b4dd5000001") 











state: "CART", 


line items: [ 
{ _id: ObjectId("4c4b1476238d3b4dd5003981")， 
Sku 90002 
name: "Extra Large Wheel Barrow", 
quantity: 1,， 
pricing: 1{ 
retail: 


5 
sale: 489 


{ _id: QObjectIid("4c4b1476238d3b4dd5003981")， 
Sa 


@ 在 这 篇 MySQL 开 发 者 的 文章 里 (http:/mng.bz/83w4 ) 介绍 了 两 种 方法 一 一 邻接 列表 和 内 山 集合 。 
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name: "Rubberized Work Glove, Black", 
quantity: 2， 
BIrICING: 
retail: 1499, 
sale: 1299 
} 
J 
I 


shipping address: { 
streets "398 35th otreet,, 
Clty: "Brooklyn", 
State: INY 
zip: 11215 
9 


sub total: 6196 
} 


订单 中 的 第 二 个 属性 user_ia 保 存 了 一 个 用 户 的 _id， 它 实际 是 一 个 指向 示例 用 户 (代码 清 
单 4-4 中 的 用 户 ， 我们 稍 后 会 讨论 这 上 段 代码 ) 的 指针 。 这 一 设计 能 方便 地 查询 关系 中 的 任意 一 方 。 
要 找到 一 个 用 户 的 所 有 订单 非常 简单 : 

db.orders.find({user id: user[' 1id']}) 
要 获取 指定 订单 的 用 户 同样 很 简单 : 

user_id = order['user id'] 

db.users.find({_id: user id}) 


像 这 样 使 用 对 象 ID ， 能 很 方便 地 在 订单 与 用 户 之 间 建 立 起 一 对 多 关系 。 

我 们 再 来 看 看 订单 文档 中 的 其 他 腕 点 。 一 般 来 说 , 我 们 会 使 用 丰 军 的 表示 方式 来 藉 载 文档 数 
据 模型 ,文档 中 既 有 订单 条 目 明 细 又 有 送 贷 地 址 。 在 正规 化 的 关系 型 模型 中 , 这 些 属性 会 被 放 在 
不 同 的 数据 表 里 。 而 这 里 ,条目 明 细 包 含 一 个 子 文档 数组 ,每 个 子 文档 都 描述 了 购物 车 里 的 一 个 
产品 。 送 货 地 址 属性 指 癌 一 个 对 象 ， 其 中 包含 了 地 址 信息 。 

让 我 们 花 点 时 间 讨 论 一 下 这 个 表述 的 优点 。 痛 完 ， 它 易于 人 们 理解 ， 完整 的 订单 概念 部 能 
被 封装 在 一 个 实体 里 ， 包 括 条 目 明 细 、 送 货 地 址 以 及 最 终 的 文 付 信息 。 查 询 数据 库 时 ， 可 以 通 
过 一 条 简单 的 查询 返回 整个 订单 对 象 。 其 次 ， 可 以 把 产品 在 购买 时 的 信息 保存 在 订单 文档 里 。 
最 后 ， 正 如 接 下 来 的 两 草 里 会 看 到 的 ， 能 轻而易举 地 查询 并 修改 订单 文档 ， 这 应 该 也 是 你 能 想 
到 的 。 

用 户 文 档 也 用 了 类 似 的 模式 , 其 中 保存 了 一 个 地 址 文档 的 列表 , 还 有 一 个 文 付 方法 文档 的 列 
表 。 此 外 ,在 文档 的 最 上 层 还 能 找到 任何 用 户 模 型 里 痢 有 的 基本 常见 属性 。 与 产品 的 短 名 称 字 上 段 
一 样 ， 在 用 户 名 字段 上 添加 了 唯一 索引 。 


代码 清单 4-4 用户 文档 ， 带 有 地 址 和 支付 方法 
{ _id: new ObjectId("4c4b1476238d3b4dd5000001")， 
username: "kbanker", 
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email: "kylebanker@gmail.com", 
first name: "Kyle", 
lJast name: "Banker", 


hashed password: "badtcfta1l194c3a603e7186780824P04419 1" ， 


addresseegs: [ 
{name: "home", 
street: "588 5th Street", 
city: "Brooklyn", 
state: "NY", 
ze LS 


{name: "work", 
SS 
CE NEW OK 
state: "NY", 
zip: 10010} 

| 


payment methods: [ 
{name: "VISA", 
last four: 2127, 
crypted number: "43f6éjbaldfda6b8106dc7", 
expiration date: new Date(2014, 4) 


} 





4.2.3 ”评论 


最 后 出 场 的 示例 数据 模型 是 产品 评论 。 一 般 而 言 ， 每 个 产品 都 会 有 多 条 评论 ， 而 该 关系 是 用 
对 象 ID3 引 用 progquct_ig 来 编码 的 ， 正 如 你 在 示例 评论 文档 中 看 到 的 那样 。 


代码 清单 4-5 ”产品 评论 文档 
{ _id: new ObjectId("4c4b1476238d3b4dd5000041")， 
Product id: new ObjectIid("4c4b1476238d3b4dqdq5003981")， 
date: new Date(2010, 5, 7), 
title: "Amazing", 
text: "Has a squeaky wheel, but still a darn good Wheel barrow.", 
= el nl RA 


user_id: new ObjectId("4c4b1476238d3b4dd5000041")， 
username: "dgreenthumb", 


helpful votes: 3, 

voter_ ids: [ new ObjectIid("4c4b1476238d3b4dq5000041")， 
new ObjectId("7a4f0376238d3b4dd5000003")， 
new ObjectId("92c21476238d3b4dd5000032") 


} 
大 多 数 剩余 属性 的 含义 神 不 言 而 喻 。 我 们 存储 了 评论 的 日 期 、 标 题 和 内 容 、 用 户 的 评分 ， 以 
及 用 户 的 ID。 有 些 意外 的 是 还 存储 了 用 望 名 。 毕 苋 ， 如 末 是 RDBMS， 可 以 通过 关联 用 户 表 来 区 
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取 用 户 名 。 但 因为 在 MongoDB 中 没有 关联 查询 ， 所 以 有 两 个 可 选 方案 : 针对 每 条 评论 再 去 查询 
一 次 用 户 集 合 , 或 者 是 接受 去 正规 化 。 当 所 查询 的 属性 (用户 名 ) 极 有 可 能 不 会 改变 时 ， 针 对 每 
条 评论 发 起 一 次 查询 会 很 浪费 。 诚 然 ， 我 们 可 以 选择 正规 化 的 做 法 ， 通 过 两 次 MongoDB 查 询 来 
显示 所 有 的 评论 , 但 这 里 正在 为 常见 情况 设计 Schema。 因为 修改 用 户 名 时 需要 在 每 个 出 现 用 户 名 
的 地 方 都 做 修改 ,这 意味 看 修改 用 户 名 的 代价 更 高 了 。 但 它 的 发 生 频 率 非 党 低 ， 这 足以 让 这 种 做 
法 成 为 一 个 合理 的 设计 选择 。 

男 一 点 值得 注意 的 地 方 是 在 评论 文档 里 保存 了 投票 信息 。 用 户 通常 能 对 评论 进行 投票 , 这 里 
在 投票 者 ID 数组 中 保存 了 每 个 投票 用 户 的 对 象 ID , 这 能 避免 用 户 对 同一 评论 多 次 投票 , 同时 也 让 
我 们 有 人 能力 查询 某 个 用 户 投 过 票 的 所 有 评论 。 注 章 ， 这 里 还 缓存 了 有 用 投票 的 总 数 ， 以 便 能 基于 
有 用 程度 对 评论 进行 排序 。 

目前 ， 我 们 已 经 履 盖 基本 的 电子 商务 数据 模型 了 。 如 果 这 是 你 第 一 次 接触 MongoDB 数 据 模 
型 , 那么 要 对 其 实用 程度 有 所 期 待 还 是 需要 一 定 信心 的 。 接 下 来 的 两 草 里 会 详细 探讨 该 模型 中 负 
下 的 东西 ， 包 括 不 重复 地 添加 投票 、 修 改 订 单 、 智 能 地 查询 产品 ， 依 此 分 别 前 述 查询 与 更 新 。 
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我 们 暂时 将 电子 商务 示例 放 在 一 边 , 来 看 看 数据 库 、 集 合 与 文档 的 核心 细节 。 其 中 很 多 内 容 
涉及 了 定义 、 特 殊 特性 和 极端 情况 。 如 有 果 想 知道 MongoDB 是 如 何 分 配 数 据 文件 的 、 文 档 中 严格 
限制 了 哪些 数据 类 型 、 使 用 固定 集合 有 什么 好 人 处， 请 继续 读 下 去 。 


4.3.1 数据库 


数据 库 是 集合 的 逻辑 与 物理 分 组 。 本 市 里 , 我 们 会 讨论 创建 与 删除 数据 库 的 细节 。 还 会 深入 
探讨 MongoDB 是 如 何在 文件 系统 上 为 每 个 数据 库 分 配 空间 的 。 

1. 管理 数据 库 

MongoDB 里 没有 显 式 创建 数据 库 的 方法 ， 在 回 数 据 库 中 的 集合 写 人 数据 时 会 自动 创建 该 数 
据 库 。 看 看 下 面 这 段 Ruby 人 代码: 


Qconnection = Mongo: :Connection.new 





















































Gdb = @connection['garden'l] 
假定 之 前 数据 库 并 不 存在 , 在 执行 这 段 代 码 之 后 仍然 不 会 在 磁盘 上 创建 数据 库 。 此 处 只 是 实 
例 化 了 一 个 Mongo: :DB 类 的 实例 。 只 有 在 问 某 个 集合 写 入 数据 时 才 会 创建 数据 文件 。 接 下 来 : 


QPproducts = @Qdbl['products'l] 
QPproducts.save({:name => "Extra Large Wheel Barrow"}) 


调用 products 集 合 的 save 方 法 时 ， 了 驱动 会 告诉 MongoDB 将 产品 文档 插入 到 garden. 
products 命 名 空间 里 。 如 果 该 命名 空间 并 不 存在 ， 则 会 进行 创建 ; 其 中 还 涉及 在 磁盘 上 分 配 
garden 数 据 库 。 

要 删除 数据 库 , 意味 着 删除 其 中 所 有 的 集合 , 我 们 要 发 出 一 条 特殊 的 命令 。 在 Ruby 里 可 以 这 
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样 删除 garden 数据 库 : 
Qconnection.drop_ database('garden') 


在 MongoDB Shell] 里 ， 可 以 运行 aropDatabase () 方 法 : 


USse garden 
db.dropDatabase(); 


在 删除 数据 库 时 要 格外 小 心 ， 因 为 这 个 操作 是 无 法 撤销 的 。 

2. 数据 文件 与 空间 分 配 

在 创建 数据 库 时 ，MongoDB 会 在 磁盘 上 分 配 一 组 数据 文件 ， 所 有 集合 、 索 引 和 数据 库 的 其 
他 元 数据 都 保存 在 这 些 文件 里 。 数 据 文件 部 锌 放置 在 启动 nongod 时 指定 的 dppathn 里 。 在 未 指定 
dbpath 时 。 mongogd 会 把 文件 全 保存 在 /data/db 里 o 让 我 们 看 看 在 创建 了 garden 数 据 库 后 /data/db 


S cd /data/db 
S ls -al 
drwxr—-xr-—xX 





6 kyle admin 204 Jul 31 15:48 . 
drwxrwxrwx 7 root admin 2 38 Jul 31 5.46 … 
-rwxr-xr-x 1 kyle admin 67108864 Jul 31 15:47 garden.0 
-rwxr-xr-x 1 kyle admin 134217728 Jul 31 15:46 garden.1 

1 kyle admin 16777216 Jul 31 15:47 garden.ns 
1 


kyle admin 6 Jul 31 15:48 mongod.lock 


WL LX 
一 了 内 区 了 一 交工 一 多 








先 来 看 mongod.lock 文 件 ， 其 中 存储 了 服务 器 的 进程 ID。 "数据库 文件 本 身 是 依据 所 属 的 数据 
库 命 名 的 。garden.ns 是 第 一 个 生成 的 文件 。 文 件 扩展 名 ms 表示 mamespaces， 意 即 命 名 空间 。 数 据 
库 中 的 每 个 集合 和 索引 都 有 自己 的 命名 空间 ,每 个 命名 空间 的 元 数据 都 存放 在 这 个 文件 里 。 默认 
情况 下 ，.ns 文 件 大 小 固定 在 16 MB， 大 约 可 以 存储 24 000 个 命名 空间 。 也 就 是 说 数据 库 中 的 索引 
和 集合 总 数 不 能 超过 24 000。 我 们 几乎 不 可 能 使 用 这 么 多 集合 与 索引 ， 但 如 果真 有 需要 ， 可 以 使 
用 --nssize 服 务 需 选项 让 该 文件 变 得 更 大 一 点 。 

除了 创建 命名 空间 文件 ，MongoDB 还 为 集合 与 索引 分 配 空 间 ， 就 在 以 从 0 开始 的 整数 结尾 的 
文件 里 。 查看 目录 的 文件 列表 , 会 看 到 两 个 核心 数据 文件 , 64 MB 的 garden.0 和 128 MB 的 garden.1。 
这 些 文件 的 初始 大 小 经 党 会 让 新 用 户 大 吃 一 尺 ,， 但 MongoDB 倾 器 于 这 种 预 分 配 的 做 法 ， 这 能 让 
数据 尺 可 能 连续 存储 。 如 此 一 来 ,在 查询 和 更 新 数据 时 ， 这 些 操作 能 更 徘 近 一 点 ， 而 不 是 分 散在 
磁盘 各 处 。 

在 问 数 据 库 添加 数据 时 ，MongoDB 会 继续 分 配 更 多 的 数据 文件 。 每 个 新 数据 文件 的 大 小 都 
是 上 一 个 已 分 配 文件 的 两 倍 , 耳 到 达到 预 分 配 文件 大 小 的 上 限 一 一 2 GB, 即 garden.2 会 是 236 MB， 
garden.3 是 512 MB ， 以 此 类 推 。 此 处 基于 这 样 一 个 假设 ， 如 果 总 数据 大 小 呈 恒 定 速率 增长 ， 应 该 
逐渐 增加 数据 文件 分 配 的 空间 ,这 是 一 种 相当 标准 的 分 配 策略 。 当 然 , 这 么 做 的 后 果 之 一 就 是 分 



































J 永远 不 要 删除 或 修改 锁定 文件 ， 除 非 是 在 对 非 正常 关闭 的 数据 库 进 行 恢复 。 如 果 在 启动 nongod 时 弹出 一 个 与 锁 
定 文 件 有 关 的 错误 消息 ,很 有 可 能 是 之 前 没有 正常 关闭 ， 可 能 需要 初始 化 一 个 恢复 进程 。 我 们 会 在 第 10 革 里 进 一 
步 讨论 该 话题 。 
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配 的 空间 与 实际 使 用 的 空间 之 间 会 存在 很 大 的 差距 ”。 
可 以 使 用 stats 命 令 检 查 已 使 用 空间 和 已 分 配 空间 : 
> db.stats() 
| 





veaolULlecCtLoOns .3 
"objects" : 10004, 
"avgObjSize" : 36.005, 
"dataSize" : 360192, 
"storageSize" : 791296, 
"numExtents" : 7, 
"indexes" : 1, 
"indexSize" : 425984， 
"fileSize" : 201326592 ， 
vO] 


} 

在 这 个 例子 里 ，fileSize 字 上 段 标 明了 为 该 数据 库 分 配 的 文件 空间 的 总 和 ， 就 是 简单 地 把 
garden 数 据 库 的 两 个 数据 文件 ( garden.0 和 garden.1 ) 的 大 小 加 起 来 。 比 较 有 意思 的 是 aataSize 
和 storageSize 两 者 的 差 值 ， 前 者 是 数据 库 中 BSON 对 象 的 实际 大 小 , 后 者 包含 了 为 集合 增长 预 
留 的 额外 空间 和 未 分 配 的 已 删除 空间 。"“ 最 后 ，indexSize 的 值 是 数据 库 索 引 大 小 的 总 合 。 关 注 
总 计 索 引 大 小 是 很 重要 的 ， 当 所 有 用 到 的 索引 都 能 放 和 人 内存 时 ,数据库 的 性 能 是 最 好 的 。 我 将 在 
第 7 章 和 第 10 章 里 介绍 排查 性 能 问题 的 技术 时 详细 讨论 这 个 话题 。 

















4.3.2 ”集合 

集合 是 结构 上 或 概念 上 相似 的 文档 的 容器 。 本 节 会 更 详细 地 描述 集合 的 创建 与 删除 。 随 
后 ,我 会 介绍 MongoDB 特 有 的 固定 集合 ， 并 给 出 一 些 例子 ,演示 核心 服务 器 内 部 是 如 何 使 用 
集合 的 0 


1. 管理 集合 

正如 在 上 一 节 里 看 到 的 , 在 癌 一 个 特定 命名 空间 中 插入 文档 时 还 隐 式 地 创建 了 集合 。 但 由 于 
存在 多 种 集合 类 型 ，MongoDB 还 提供 了 创建 集合 的 命令 。 在 Shell 中 可 以 执行 : 

db.createcollection("users'") 

在 创建 标准 集合 时 ， 有 选项 能 指定 预先 分 配 多 少 字 市 的 存储 空间 。 方 法 如 下 (但 通常 没 必 要 


db.createCollection("users", {size: 20000}) 


集合 名 里 可 以 包 仿 数字、 字母 或 .符号 ， 但 必须 以 字母 或 数字 开头 。 在 MongoDB 内 部 ， 集 合 














中 这 在 空间 很 宝贵 的 部 署 环 境 下 会 带 来 一 些 问 题 , 针对 此 类 情况 , 可 以 组 合 使 用 --noprealloc 和 --smal1files 
这 两 个 服务 需 选 项 。 

@) 严格 说 来 ， 集 合 就 是 每 个 数据 文件 里 按 块 分 配 的 空间 ， 这 些 块 称 为 区 段 (extent )。storageSize 就 是 为 集合 区 
段 所 分 配 空 间 的 总 额 。 
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名 是 用 它 的 命名 空间 名 称 来 标识 的 ， 其 中 包含 了 它 所 属 的 数据 库 的 名 称 。 因 此 , 严格 说 起 来 , 在 
往来 于 核心 服务 器 的 消息 里 引用 产品 集合 时 应 该 用 garden .products。 这 个 完全 限定 集合 名 不 
能 超过 128 个 字符 。 

有 时 在 集合 名 里 包含 .符号 很 有 用 ， 它 能 提供 某 种 虚拟 命名 空间 。 举 例 来 说 ， 可 以 想象 有 一 
系列 集合 使 用 了 下 列 名 称 : 


products.categories 
products.images 














products.reviews 


请 牢记 这 只 是 一 种 组 织 上 的 原则 ， 数 据 库 对 名 字 里 带 有 .的 集合 和 其 他 集合 是 一 视 同仁 的 。 

我 之 前 已 经 提 到 过 从 集合 中 删除 文档 和 彻 瓜 删除 集合 了 , 现在 你 还 需要 知道 集合 是 可 以 重 命 
名 的 。 比 如 ， 可 以 用 Shell 里 的 renameCollection 方 法 重合 名 产品 集合 : 

db.products.renameCollection("store products'") 

2. 固定 集合 

除了 目前 为 止 创建 的 标准 集合 ， 我 们 还 可 以 创建 固定 集合 ( capped collection )。 固 定 集 合 原 
本 是 针对 高 性 能 日 志 场 景 设计 的 。 它 们 与 标准 集合 的 区 别 在 于 其 大 小 是 固定 的 ,也 就 是 说 , 一 旦 
固定 集合 到 达 容 量 上 限 , 后 续 的 插入 会 禾 新 集合 中 最 完 插 入 的 文档 。 在 只 有 最 近 的 数据 才 有 价值 
的 情况 下 ， 这 种 设计 免除 了 用 户 手工 清理 集合 的 烦恼 。 

要 理解 如 何 使 用 固定 集合 , 可 以 假设 想 要 追踪 访问 我 们 站 点 的 用 户 的 行为 。 此 类 行为 会 包含 
查看 产品 、 琴 加 到 购物 车 、 结 账 与 购买 。 可 以 写 个 脚本 来 模拟 回回 定 集合 记录 这 些 用 户 行为 的 日 
志 记 录 功 能 。 在 这 个 过 程 里 ， 我 们 会 看 到 这 些 集合 的 一 些 有 趣 属 性 。 下 面 是 一 个 示例 。 


代码 清单 4-6 ”模拟 向 固 定 集合 中 记录 用 户 行为 日 志 


regquire 'rubygems' 
























































require 'mongo'! 


VIEW_PRODUCT = 0 
ADD TO CART = 1 
CHECKOUT 三 2 
PURCHASE = 
Qcon Mongo: :Connection.new 


@db Qcon[l 'garden'l] 


@Qdb.drop collection("user.actions") 


@db.create collection("user.actions", :Capped => true, :size => 1024) 
Qactions = @dbl[l'user.actions'l] 


90 me oe | 
doc = 
:USername => "kbanker", 
:action code => rand(4),, 
:time => Time.now.utc, 
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2 问 三 之 下 佣 


Qactions.insert (doc) 
end 


首先 ， 使 用 DB#create_collection 方 法 "创建 一 个 名 为 users .actions、 大 小 为 1 KB 的 
固定 集合 。 接 下 来 , 插入 20 个 示例 日 志文 档 。 每 个 文档 都 包含 用 户 名 、 动 作 代码 (存储 内 容 为 0~3 
的 整数 ) 和 时 间 戳 ， 还 要 加 入 一 个 不 断 增加 的 整数 上 ， 这 样 就 能 标识 出 哪个 文档 过 期 了 。 现 在 从 
Shell 里 查询 集合 : 


> use garden 
> aqb.user.actions .count ( ) ; 
10 


尽管 插入 了 20 个 文档 , 但 集合 里 却 只 有 10 个 文档 , 查询 一 下 集合 内 容 , 你 就 能 知道 为 什么 了 了: 


db.user.actions.find():; 








{ "_id" : ObjectId("4c55f6e0238d3b201000000b"),， "username" : "kbanker", 
aation Goode % OF Tn 2 LO0 time » Sun Aug O01 2010 18»36*16" } 

{ "_id" : ObjectId("4c55f6e0238d3b201000000c"), "username" : "kbanker", 
TooELONn eoder .A UM eo UO A Ol 2010 18 36-16°) 

{ "_id" : ObjectId("4c55f6e0238d3b201000000d"),，, "username" : "kbanker", 
actlonteoder .2 U2 Cimonm A Ol 22201018 6 6 








返回 的 文档 是 按照 插入 顺序 排列 的 。 仔 细 观 察 n 的 值 ， 很 明显 ， 集合 中 最 老 的 文档 是 第 十 个 
插入 的 文档 ， 也 就 是 说 文档 0~9 都 已 经 过 期 了 。 既 然 该 固定 集合 最 大 是 1024 字 节 ， 仅 包含 10 个 文 
档 ， 也 就 是 说 每 个 文档 大 致 是 100 字 节 。 后 面 你 将 看 到 如 何 验证 这 个 假设 。 

在 此 之 前 ， 我 要 再 指出 固定 集合 与 标准 集合 之 间 的 几 个 不 同 点 。 固 定 集合 默认 不 为 _ia 创 建 
索引 ,这 是 为 了 优化 性 能 ,没有 索引 ， 搬 入 会 更 快 。 如 果实 在 需要 _iaq 索 引 ， 可 以 手动 构建 索引 。 
在 不 定义 索引 的 情况 下 , 最 好 把 固定 集合 当做 用 于 顺序 处 理 的 数据 结构 ,而 非 用 于 随机 查询 的 数 
据 结 构 。 为 此 ，MongoDB 提 供 了 一 个 特殊 的 排序 操作 符 ， 按 自然 插入 顺序 ”返回 集合 的 文档 。 之 
前 的 查询 是 按 上 自然 顺序 正 回 输 出 结果 的 ， 如 果 要 逆序 输出 ， 必 须 使 用 Snatural 排 序 操 作 符 : 


> db.user.actions.find().sort({"snatural": -1}).: 


除了 按 目 然 顺 序 排列 文档 ， 并 放弃 索引 ， 固 定 集合 还 限制 了 CRUD 操 作 。 比 如 ,不 能 从 固 害 
集合 中 删除 文档 ， 也 不 能 执行 任何 会 增加 文档 大 小 的 更 新 操作 。™ 

3. 系统 集合 

MongoDB 内 部 对 集合 的 使 用 方式 可 以 体现 它 的 部 分 设计 思想 ， system.namespaces 与 
system. indexes 束 属于 这 些 特殊 系统 集合 。 前 者 可 以 查询 到 当前 数据 库 中 定义 的 所 有 命名 空间 : 












































GD Shell 里 的 等 效 创 建 命令 是 db.createCollection("users.actions", {capped: true, size: 1024})。 

Q 自然 顺序 是 文档 保存 在 磁盘 上 的 顺序 。 

(3) 因为 固定 集合 最 早 是 为 日 志 记 录 功 能 而 设计 的 ,不 需要 实现 删除 或 更 新 文档 功能 ， 这 些 功能 会 让 负责 旧 文 档 过 期 
的 代码 复杂 化 。 去 掉 这 些 功能 ， 固 定 集合 获得 了 设计 的 人 简单 性 和 高 效 性 。 
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> db.system.namespaces.ftind(); 
{ "name" : "garden.products" } 
{ "name" : "garden.system.indexes" } 
{ "name" : "garden.products.s id " } 
{ "name" : "garden.user.actions", "options" : 
{ "create’": "user.actions'", "capped": true, "size'": 1024 } } 


后 者 存储 了 当前 数据 库 的 所 有 索引 定义 。 要 获取 garden 数 据 库 的 索引 ， 查 询 该 集合 即 可 : 


> db.system.indexes.find().; 

人 

system.namespaces 与 system.indexes 部 是 标准 的 集合 , 但 MongoDB 使 用 固定 集合 来 做 
复制 。 每 个 副本 集 的 成 员 都 会 把 所 有 的 写 操作 记录 到 一 个 特殊 的 oplog.rs 固 定 集合 里 。 从 节点 顺 
序 读 取 这 个 集合 的 内 容 ， 再 把 这 些 新 操作 应 用 到 自己 的 数据 库 里 。 第 9 章 将 更 详细 地 讨论 这 个 系 


统 集 合 。 
4.3.3 ”文档 与 插入 


我 们 将 通过 讨论 文档 及 其 插入 的 细节 来 结束 这 音 。 

1. 文档 序列 化 、 类 型 和 限制 

正如 上 一 章 中 说 的 那样 ,所 有 文档 在 发 送 到 MongoDB 之 前 都 必须 序列 化 成 BSON; 随后 再 由 
驱动 将 文档 从 BSON 反 序列 化 到 语言 目 己 的 文档 表述 。 大 多 数 驱 动 都 提供 了 一 个 简单 的 接口 ， 可 
以 进行 BSON 的 序列 化 和 有 反 序列 化 。 我 们 可 能 会 需要 查看 发 送 给 服务 右 的 内 容 ， 因 此 了 人 解 这 部 分 
功能 在 驱动 中 是 如 何 实 现 的 会 非常 有 用 。 举 例 来 说 , 前 文 在 演示 固定 集合 ,我们 有 理由 假设 示例 
文档 的 大 小 大 约 是 100 字 节 。 可 以 通过 Ruby 了 驱动 的 BSON 序 列 化 器 来 验证 这 一 假设 : 

SETE 


:_id => BSON: :ObjectId.new, 
:usSsername => "kbanker", 
































:action code => rand(5), 
:time => Time.now.utc, 
“Tl > 


} 
bson = BSON: :BSON_ CODER. serialize (doc) 


puts "Document #{doc.inspect} takes up #{bson.length} bytes as BSON'" 
serialize 方 法 会 返回 一 个 学 市 数组 。 如 采 运 行 上 述 代 人 码 , 会 得 到 一 个 82 字 市 的 BSON 对 和 象 ， 
和 我 们 估计 的 差不多 。 如 果 想 要 在 Shell 里 检查 BSON 对 象 的 大 小 ， 可 以 这 样 做 : 


ST doeTed 
_id: new ObjectId(), 
username: "kbanker", 
action code: Math.ceil (Math.random() * 5), 
time: new Date(), 
n: 1 


, 


> Object.bsonsize (doc),; 
82 
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同样 也 是 82 字 万。82 字 世 的 文档 大 小 和 100 字 和 的 佑 计 信 的 差别 在 于 普通 集合 和 文档 的 开销 。 
反 序 列 化 BSON 也 很 测 单 ， 可 以 答 试 运行 以 下 代码 : 
deserialized doc = BSON::BSON_CODER.dqeser1Ialilizel(bsonm) 


puts "Here's our document deserialized from BSON:" 
puts deserialized doc.inspect 


请 注意 , 不 是 所 有 Ruby 散 列 都 能 被 序列 化 。 要 正确 序列 化 , 键 名 必须 是 合法 的 ， 每 个 值 都 必 
须 能 转换 为 BSON 类 型 。 合 法 的 键 名 由 nul11 绪 尾 的 字符 串 组 成 ， 最 大 长 度 为 2355$ 字 节 。 字 符 串 可 
以 包含 任 昌 ASCII 字 符 的 组 合 ， 但 有 三 种 情况 例外 : 不 能 以 s 开 头 ， 不 能 包含 .字符 ， 除 了 结尾 处 
外 不 能 包含 null 字 方 。 在 Ruby 里 ， 可 以 用 符号 充当 散 列 的 键 ， 在 序列 化 时 它们 会 被 转换 为 等 效 
的 学 符 串 。 

应 该 层 重 选择 键 名 的 长 度 ， 因 为 这 是 存储 在 文档 里 面 的 。 这 种 做 法 与 RDBMS 截 然 不 同 ， 
RDBMS 里 列 名 总 是 与 数据 行 分 开 保 存 的 。 因 此 ， 在 使 用 BSON 时 ,可 以 用 dob 代 痊 
date_of_birth 作 为 键 名 ， 这 样 一 来 每 个 文档 都 能 省 下 10 字 节 。 这 个 数字 上 听 起 来 并 不 大 ,但 一 
旦 有 了 10 亿 个 文档 , 这 个 更 短 的 键 名 能 帮 我 们 省 下 将 近 10 GB 的 存储 空间 。 但 这 也 不 是 让 你 肆意 
缩短 键 名 长 度 ， 请 选择 一 个 合适 的 键 名 。 如 果 有 大 量 的 数据 ， 更 “经 济 ” 的 键 名 能 帮助 省 下 不 
少 空间 。 

除了 合法 的 键 名 ， 文 档 还 必须 包含 可 以 序列 化 为 BSON 的 值 。 在 http://bsonspec.org 可 以 找到 
一 张 BSON 类 型 的 表格 ， 其 中 有 示例 和 注解 。 此 处 我 只 会 指出 一 些 重 点 和 容易 碰 到 的 陷阱 。 

@ 字符 串 

所 有 字符 串 都 必须 编码 为 UTF-8， 虽 然 UTF-8 就 快 成 为 字符 编码 的 行业 标准 了， 但 还 是 有 很 
多 地 方 仍 在 使 用 旧 的 编码 。 在 将 数据 从 遗留 系统 导入 到 MongoDB 时 用 户 通 篆 会 遇 到 一 些 问题 。 
解决 方案 一 般 是 在 插入 前 将 内 容 转 换 为 UTF-8， 或 者 将 文本 保存 为 BSON 二 进 制 类 型 。” 

@ 数字 

BSON 规 定 了 三 种 数字 类 型 qouble、int 和 1ong。 也 就 是 说 BSON 可 以 编码 各 种 IEEE 浮 点 
数 伸 ， 以 及 各 种 8 学 市 以 内 的 种 符号 整数 。 在 动态 语言 里 序列 化 整数 时 ， 驱 动 会 日 己 决 定 是 将 其 
厅 列 化 为 int 还 是 long。 实 际 上 ， 只 有 一 种 常见 情况 需要 显 式 地 决定 数字 类 型 ， 那 就 是 通过 
JavaScript Shell 插 入 数字 数据 时 。 很 遗憾 ，JavaScript 天 生 就 支持 一 种 数字 类 型 ， 即 Number， 它 等 
价 于 IEEE 的 双 精 度 浮 点 数 。 因 此 ， 如 果 和 希望 在 Shell 里 将 一 个 数字 保存 为 整数 ， 需 要 使 用 
NumberLong () 或 NumberInt() 显 式 指 定 。 试 试 下 面 这 上 段 代 码 : 


db.numbers.save({n: 5S}); 
db.numbers.save({ n: NumberLong(5) }); 


这 里 向 numbers 集 合 添加 了 两 个 文档 , 虽然 两 个 值 是 一 样 的 , 但 第 一 个 被 保存 成 了 双 精 度 浮 



































QD 顺便 说 一 下 ， 如 果 你 还 不 太 了 解 字符 编码 ， 推 荐 你 读 一 下 Joel Spolsky 那 篇 著名 的 介绍 字符 编码 的 文章 ， 参 见 
http:/mng.bzLVO6。 如 采 你 是 一 名 Ruby 爱 好 者 ,也 许 还 会 想 恋 一 读 James Edward Gray 关于 Ruby 1.8 和 1.9 字 符 编 码 
的 一 系列 文章 ， 参 见 http:/mng.bz/wc4J。 
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所 数 ， 第 二 个 则 被 保存 成 了 长 整数 。 查 询 所 有 n 是 5 的 文档 会 将 这 两 个 文档 一 并 返回 : 


> db.numbers.find({n: 5}); 
{ "_id" : ObjectId("4c581c98d5bbeb2365a838f£f9"),， "nn" : 5 } 
{ "_id" : ObjectId("4c581c9bd5bbeb2365a838fa"), "n" : NumberLong( 5 ) } 


但 是 可 以 看 到 第 二 个 值 被 标记 为 长 整数 。 男 一 种 做 法 是 使 用 特殊 的 Stype 操 作 符 来 查询 
BSON 类 型 。 每 种 BSON 类 型 都 由 一 个 从 1 开始 的 整数 来 标识 。 如 果 查 看 http://bsonspec.org 上 的 
BSON 规 范 , 会 看 到 双 精 度 浮 点 数 是 类 型 1， 而 64 位 整数 是 类 型 18。 所 以 ,可 以 根据 类 型 来 查询 集 














合 的 值 : 

> db.numbers.find({n: {stype: 1}}); 

{ "_id" : ObjectId("4c581c98d5bbeb2365a838f£9"), "nn" :; 5 } 

> db.numbers.find({n: {stype: 18}}); 

{ "_id" : ObjectId("4c581c9bd5bbeb2365a838fa"), "n" : NumberLong( 5 ) } 

这 也 证 实 了 两 者 在 存储 上 的 不 同 , 在 生产 环境 里 我 们 几乎 用 不 上 $type 操作 符 , 但 在 调试 时 ， 
这 是 个 很 梭 的 工具 。 


男 一 个 和 BSON 数 字 类 型 有 关 的 问题 是 其 中 缺乏 对 小 数 的 支持 。 这 意味 着 在 MongoDB 中 保存 
货币 值 时 需要 使 用 整数 类 型 ， 并 且 以 美 分 为 单位 来 保存 货币 值 。 

@ 日 期 时 间 

BSON 的 日 期 时 间 类 型 是 用 来 存储 时 间 的 ， 用 带 符号 的 64 位 整数 来 标识 Unix epoch 毫秒 数 ， 
采用 的 时 间 格 式 是 UTC ( Coordinated Universal Time， 协 调 世 界 时 )。 负 值 代 表 时 间 起 点 之 前 的 毫 

以 下 是 一 些 使 用 时 的 注意 事项 。 首 先 ， 如 果 在 JavaScript 里 创建 日 期 ， 请 牢记 JavaScript 日 
期 里 的 月 份 是 从 0 开始 的 。 也 就 是 说 new Date(2011，5，11) 创 建 出 的 日 期 对 象 表示 2011 年 6 
月 11 日 。 其 次 ， 如 果 使 用 Ruby 驱 动 存储 时 间 数 据 ，BSON 序 列 化 吉 会 期 竺 传人 一 个 UTC 格式 的 
Ruby Time 对 象 。 其 结果 就 是 不 能 使 用 包含 时 区 信息 的 日 期 类 ， 因 为 BSON 日 期 时 间 无 法 对 它 
进行 编码 。 

@ 自 定义 类 型 

如 果 和 希望 连同 时 区 一 起 保存 时 间 该 怎么 办 呢 ? 有 时 候 光 有 基本 的 BSON 类 型 是 不 够 的 。 虽 然 
无 法 创建 自 定 义 BSON 类 型 ， 但 可 以 结合 几 个 不 同 的 原生 BSON 值 ， 以 此 创建 自己 的 虚拟 类 型 。 
举例 来 说 ， 想 要 保存 时 区 和 时 间 ， 可 以 使 用 这 样 一 种 文档 结构 ，Ruby 代 码 如 下 : 


{:time with zone => 
{:time => Time.utc.now, 
ZONG = "BOT 
} 
} 


要 编写 一 个 能 透明 处理 此 类 组 合 表 述 的 应 用 程序 并 不 复杂 ,真实 情况 往往 就 是 这 样 的 ,例如 ， 
MongoMapper ( 用 Ruby 编 写 的 MongoDB 对 象 映 射 硕 ) 允许 为 任意 对 象 定 义 to_mongo 和 












































GD Unix epoch 是 从 1970 年 1 月 1 日 午夜 开始 的 协调 世界 时 。 
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from_mongo 方 法 ,方便 此 类 自 定 义 组 合 类 型 的 使 用 。 

@ 文档 大 小 的 限制 

MongoDB v2.0 中 BSON 文 档 的 大 小 被 限制 在 16 MB "。 出 于 两 个 原因 需要 增加 这 个 限制 ， 
首先 是 为 了 防止 开发 者 创建 难看 的 数据 模型 。 虽 然 在 这 个 限制 下 仍然 会 有 差劲 的 数据 模型 ， 但 
16 MB 的 限制 还 是 有 帮助 的 , 尤其 是 能 避免 深层 次 的 般 套 , 这 种 向 套 对 于 MongoDB 的 新 手 是 个 常 
见 的 数据 建 模 问题 。 深 层 般 套 的 文档 很 难 使 用 ， 最 好 能 将 它们 展开 到 各 自 不 同 的 集合 里 。 

第 二 个 原因 与 性 能 有 关 , 在 服务 顶端 查询 大 文档 , 在 将 结 采 发 送 个 客户 端 之 前 需要 将 文档 复 
制 到 缓冲 区 里 。 这 个 复制 动作 的 代价 可 能 很 大 ,尤其 在 客户 端 并 不 需要 整个 文档 时 ( 这 种 情况 很 
常见 )。“ 此 外 ,一 旦 发 送 之 后 ， 就 会 在 网 络 中 传输 这 些 文档 ， 驱 动 还 要 对 其 进行 反 序列 化 。 如 果 
一 次 请 求 大 量 MB 数 量 级 的 文档 ， 这 笔 开 销 会 极 大 。 

结论 就 是 ,如果 有 很 大 的 对 象 , 也 许可 以 将 它们 拆 开 ,修改 其 数据 模型 ,使 用 一 到 两 个 额外 
的 集合 。 如 果 仪 仪 存储 大 的 二 进 制 对 象 ， 比 如 图 三 或 视频 ， 这 又 是 为 一 种 情况 ， 附 录 C 里 有 与 处 
理 大 型 二 进 制 对 象 相关 的 内 容 。 

2. 批量 插入 

在 有 了 正确 的 文档 之 后 , 就 该 执行 插入 操作 了 。 第 3 章 里 已 经 讨论 了 很 多 与 插入 相关 的 细 市 ， 
包括 生成 对 和 象 [D、 网 络 层 上 插入 是 如 何 实 现 的 , 还 有 安全 模式 。 但 还 有 一 个 特性 值得 探讨 ， 那 就 
是 批量 插入 。 

所 有 的 张 动 都 可 以 一 次 插入 多 个 文档 , 这 在 有 很 多 数据 知 要 搬入 时 非常 有 用 ， 比 如 初始 化 批 
量 导 入 或 者 从 为 一 个 数据 库 系 统 迁移 数据 时 。 回想 之 前 问 user.actions 集 合 插 入 20 个 文档 的 例 
子 ， 如 果 再 去 读 下 代码 ,会 发 现 每 次 只 插入 一 个 文档 。 使 用 下 面 的 代码 ， 事先 构造 一 个 40 个 文档 
的 数组 ， 随 后 将 整个 文档 数组 传递 给 insert 方 法 : 

doca = (0..40) .mas de |al 

{ :username => "kbanker", 


:action code => rand(5), 
:time => Time.now.utc, 


















































:Nn 三 > 了 


end 
Qcol = @dbl'test.bulk.insert'l] 
Qids = @col.insert (docs) 


puts "Here are the ids from the bulk insert: #{@ids.inspect}" 

与 单独 返回 一 个 对 象 ID 有 所 不 同 ， 批 量 插入 会 返回 所 有 搬 和 人 文档 的 对 象 ID 数 组 。 用 户 经 常会 
问 , 理想 的 批量 插入 数量 是 多 少 ? 答案 受到 太 多 具体 因素 的 影响 , 理想 的 数字 范围 为 10~200。 在 具 
体 情 况 中 ,基准 测试 的 结果 是 最 有 价值 的 。 数 据 库 方 面 唯一 的 限制 是 单 次 插入 操作 不 能 超过 16 MB 








G 这 个 数字 在 各 个 服务 需 版 本 之 间 有 所 不 同 ， 而 且 还 在 继续 增加 。 要 了 解 正 在 使 用 的 服务 器 版 本 对 应 的 限制 值 ， 可 
以 在 Shell 里 运行 gb .1ismaster， 查 看 maxBsonobjectSize 字 段 。 如 果 没 有 这 个 字段 ， 那 么 该 限制 是 4MB (下 
在 使 用 一 个 非常 古老 的 MongoDB 版 本 )。 

@) 在 下 一 章 里 会 看 到 ， 可 以 指定 查询 返回 文档 的 哪些 字段 ， 以 此 控制 啊 应 的 大 小 。 如 果 经 常 这 么 做 ， 就 可 以 重新 考 
虑 一 下 你 的 数据 模型 了 。 
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上 限 。 经 验 表 明 大 多 数 高 效 的 批量 插入 都 远 低 于 该 限制 。 
4.4 ”小 结 


这 一 章 涉 及 了 很 多 基础 的 内 容 ; 为 自己 的 所 得 欢呼 吧 1 

开始 时 , 我 们 探讨 了 理论 上 的 Schema 设 计 , 随后 为 一 个 电子 商务 应 用 程序 设计 了 大 致 的 数据 
模型 ， 让 你 有 机 会 了 解 生 产 系统 中 的 文档 是 什么 样 的 ， 而 且 以 更 具体 的 方式 来 思考 RDBMS 与 
MongoDB 之 间 Schema 的 区 别 。 

本 章 结 尾 处 我 们 详细 了 解 了 与 数据 库 文档 和 集合 相关 的 内 容 ; 你 以 后 也 会 参考 本 章 的 内 容 。 
我 已 经 前 述 了 MongoDB 的 入门 知识 ， 但 还 没 真 正 开始 接触 数据 。 下 一 章 中 一 切 都 会 有 所 不 同 ， 
我 们 将 会 看 到 即时 查询 的 威力 。 





























本 章 内 容 

口 查询 电子 商务 数据 模型 

口 详细 解说 MongoDB 查询 语言 

口 使 用 MapReduce 和 分 组 进行 聚合 








MongoDB 中 使 用 的 不 是 SQL， 而 是 它 上 自己 的 查询 语言 ， 与 JSON 很 相似 。 贯 穿 全 书 ， 我 们 都 
在 探讨 这 门 查询 培 言 , 但 本 草 我 们 要 接触 一 些 真 实 示 例 。 注意 ,我们 将 回顾 上 一 章 里 介绍 的 电子 
商务 数据 模型 , 基于 它 进行 很 多 不 同 的 查询 , 包括 _iq 查 找 、 范 围 查询 、 排 序 和 投影 (projection )。 
我 们 还 将 纵览 MongoDB 查 询 语言 ， 详 细 介 绍 每 个 查询 操作 符 。 

除了 查询 ， 本 章 还 会 涉及 聚合 ( aggregation ) 这 个 主题 。 查 询 人 允许 你 获得 存储 的 数据 ， 聚 合 
哨 数 则 能 汇总 并 重新 组 织 那 些 数 据 。 首 先 , 我 们 通过 本 书 的 电子 商务 示例 数据 集 了 解 如 何 进行 聚 
合 ， 此 处 会 关注 MongoDB 的 分 组 和 MapReduce 国 数 。 随 后 ， 我 会 给 出 这 些 明 数 的 完整 说 明 。 

请 牢记 ， 本 草 中 看 到 的 MongoDB 查 询 语言 和 聚合 也 数 仍 在 不 断 完善 之 中 ， 每 个 版 本 都 会 有 所 
改进 。 照 目前 的 情况 来 看 ， 掌 握 MongoDB 中 的 查询 与 聚合 并 不 是 了 解 其 中 的 具体 细节 ， 而 是 找到 
完成 日 第 任务 的 最 佳 途径 。 通 过 本 草 的 示例 ， 我 会 为 你 指出 一 条 “ 明 路 ”"。 到 本 昔 结 束 时 ， 你 应 该 
已 经 能 很 好 地 理解 MongoDB 中 的 查询 与 聚合 了 , 而 且 能 将 它们 运用 到 应 用 程序 Schema 的 设计 之 中 。 


5.1 电子 商务 查询 


本 节 继续 探讨 上 一 章 中 给 出 的 电子 商务 数据 模型 。 我 们 已 经 为 产品 、 分 类 、 用 户 、 订 单 和 产 
品评 论 定义 了 文档 结构 , 有 了 这 一 结构 ， 计 我 们 来 看 看 如 何在 一 个 典型 的 电子 商务 应 用 程序 里 查 
询 这 些 实体 。 其 中 的 一 些 查询 非常 简单 ， 举 例 来 说 ，_ia 查 找 应 该 毫 无 秘密 可 言 。 但 我 们 还 会 看 
到 一 些 较 复杂 的 模式 ,包括 查询 并 显示 分 类 层级 ， 以 及 为 产品 列表 提供 过 滤 视 图 。 除 此 之 外 , 要 
将 效率 问题 牢记 于 心 ， 针 对 这 些 查 询 还 要 寻找 可 能 的 索引 。 



























































5.1.1 产品 、 分 类 与 评论 


大 多 数 电 子 商 务 应 用 程序 都 提供 至 少 两 种 基本 的 产品 和 分 类 视图 。 第 一 种 是 产品 主页 ,突出 











bo 
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菏 个 指定 的 产品 ， 显 示 其 评论 ,给 出 一 些 与 产品 分 类 相关 的 信息 。 第 二 种 是 产品 列表 页 面 ， 允许 
用 户 浏 览 分 类 层级 ,查看 所 选 分 类 中 所 有 产品 的 顷 略 图 。 让 我 们 和 完 从 产品 主页 入 手 ， 多数 情况 下 
这 是 两 者 中 比较 容易 的 一 个 。 

假设 产品 页 面 URL 是 以 产品 的 短 名 称 作为 键 的 , 这 样 就 能 通过 以 下 三 个 查询 获得 产品 页 面 中 
所 需 的 所 有 信息 : 


db.products.findOone({'slug': 'wheel-barrow-9092'}) 
db.categories.findOne({'_id': productl['main cat id']}) 
db.reviews.find({'product id': product['_ 1id']}) 


第 一 个 查询 通过 短 名 称 wheel-barrow-9092 找 到 了 产品 。 一 旦 有 了 了 产品， 就 能 从 
categories 焦 合 里 用 人 简单 的 _ig 查 询 找 到 其 分 类 信息 。 最 后 ， 青 发 起 一 次 简单 查询 ， 获 得 与 该 
产品 相关 的 所 有 评论 。 

相信 你 已 经 注意 到 了 ， 头 两 个 查询 用 的 是 findone 方 法 ， 但 最 后 一 个 查询 却 用 了 find 方 法 。 
所 有 的 MongoDB 了 驱动 都 提供 了 这 两 个 方法 , 很 有 必要 温习 一 下 两 者 的 区 别 。 正 如 第 3 章 中 所 说 的 
那样 ，find 返 回 的 是 游标 对 象 ， 而 findone 返 回 的 是 一 个 文档 。 上 面 用 到 的 findone 和 下 面 这 
条 语句 是 等 价 的 : 

db.products.find({'slug': 'wheel-barrow-9092'}).1imit(1) 

如 果 仅 仅 想 要 一 个 文档 ， 只 要 它 存在 ，findone 就 能 返回 它 。 如 果 需 要 返回 多 个 文档 ,就 需 
要 使 用 find 了 ， 该 方法 会 返回 一 个 游标 ， 你 需要 在 应 用 程序 里 对 它 进行 迭代 。 

现在 再 来 看 看 产品 页 面 的 查询 ,还 有 什么 问题 吗 ? 如 果 觉 得 评论 的 查询 有 点 粗放 , 那 就 对 了 。 
该 查询 会 返回 指定 产品 的 所 有 评论 , 但 这 种 做 法 在 产品 拥有 成 百 上 千 条 评论 时 显然 不 够 严谨 。 大 
多 数 应 用 程序 都 会 对 评论 进行 分 页 ， 为 此 ，MongoDB 提 供 了 skip 和 1imit 选 项 。 可 以 像 下面 这 
样 用 它们 对 评论 文档 进行 分 页 : 

db.reviews.find({'product id': product[' id']}).skip(0) .1imit(12) 

如 果 还 希望 以 一 人 致 的 顺序 显示 评论 , 就 需要 对 查询 结果 进行 排序 。 如 果 想 要 按照 每 条 评论 收 
到 的 投票 数 排序 ， 方 法 很 简单 : 


db.reviews.find({'product id': product['1id']}).sort!( 
{helpful votes: -1}) .1imit(12) 


简 而 言 之 ， 这 条 查询 告诉 MongoDB 按 照 投 票 总 数 降序 排列 ， 返 回 前 12 条 评论 。 有 了 skip、 
1imit 和 sort， 只 需 在 开始 时 决定 是 否 需 要 分 页 。 为 此 ， 可 以 发 起 一 次 count 碍 询 。 随 后 结合 
count 的 结果 和 想 要 的 评论 页 人 码 再 进行 查询 。 完 整 的 产品 页 面 查 询 是 这 样 的 : 





















































product = db.products.findOone({'slug': 'wheel-barrow-9092'}) 
category = db.categories.findOone({'_id': product['main cat id']}) 
reviews count = db.reviews.count({'product id': product['_ id']}) 
reviews = db.reviews.find({'product id': product[' id']}). 

skip((page number - 1) * 12). 

Timit(12) 

Sort( {heloful vobes ee} 





这 些 查 询 语 句 都 应 该 使 用 索引 。 因 为 短 名 称 也 可 以 当做 主键 来 用 , 所 以 应 该 为 它们 加 上 唯一 
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性 索引 。 而 且 你 应 该 也 知道 所 有 标准 集合 的 _ia 字 段 都 会 自动 加 上 唯一 性 索引 ， 对 于 任何 充当 引 
用 的 字段 也 部 应 该 为 它们 加 上 有 索引。 在 本 例 中 ， 这 些 凶 段 还 包括 评论 集合 中 的 user_id 和 
product_id 和 字段 。 

完成 了 产品 主页 的 查询 , 现在 可 以 将 视线 转 回 产 品 列表 页 面 了 。 此 类 页 面 会 展现 一 个 指定 的 
分 类 ， 页 面 中 市 有 可 训 览 的 产品 列表 ， 还 有 指 癌 上 级 分 类 和 同 级 分 类 的 链接 。 

产品 列表 页 面 是 根据 产品 分 类 来 定义 的 ， 因 此 针对 该 页 面 的 请 求 将 使 用 分 类 的 短 名 称 : 




















category = db.categories.findOne({'slug': 'outdoors'}) 
siblings = db.categories.find({'parent id': category['parent id']}) 
products = db.products.find({'category_id': category['_1id']}). 
skip((page number - 1) * 12). 
lmit (12).. 
sort({average review: -1}) 








同 级 分 类 是 指 拥有 相同 parent_igd 的 其 他 分 类 , 因此 对 它 的 查询 非 党 简单。 既然 产 品 都 包含 
一 个 分 类 ID 的 数组 , 那么 查询 指定 分 类 里 的 所 有 产品 也 同样 很 傈 单 。 还 是 需要 使 用 与 之 前 评论 相 
同 的 分 页 模式 , 不 同 的 只 是 按照 平均 产品 评分 进行 排序 , 我 们 还 可 以 提供 其 他 排序 方法 ( 根据 名 
称 、 价 格 等 )， 改 变 排序 字段 即 可 。™ 

产品 列表 页 面 还 有 一 种 基本 情况 ， 就 是 查询 顶级 分 类 ， 没 有 产品 。 只 需 在 分 类 集合 中 查找 
parent_id 是 ni1 的 分 类 就 可 以 了 : 


categories = db.categories.find({'parent id': nil}) 











5.1.2 用户 与 订单 


上 一 节 里 的 碍 询 仅 限于 _iq 查 找 和 排序 , 对 于 用 户 与 订单 , 由 于 希望 为 订单 生成 基本 的 报表 ， 
我 们 的 查询 会 更 进一步 。 

完 从 稍微 简单 一 些 的 查询 入 手 : 用 户 身 份 验证 。 用 户 提 供用 户 名 和 密码 登录 到 应 用 程序 中 ， 
此 经 常会 使 用 以 下 查询 : 


db.users.findOne({username: 'kbanker', 
hashed password: 'bdilicfal94c3a603e7186780824b04419'})) 


如 采用 户 存 在 且 密 码 正 确 , 会 返回 完整 的 用 户 文 档 ; 否则 束 没 有 返回 结果 。 这 条 查询 是 可 接受 的 。 
但 如 来 要 考虑 性 能 , 可 以 只 返回 _iq 字 段 , 用 它 就 能 发 起 会 话 了 。 毕竟 在 用 户 文 梢 里 保存 了 地 址 、 
文 付 方法 和 其 他 诸多 个 人 信息 。 如 果 需 要 的 只 是 一 个 字段 ， 又 何必 在 网 络 上 传输 那些 数据 ， 并 在 
驱动 端 反 序列 化 它们 呢 ?” 可 以 通过 投影 来 限制 返回 的 字段 : 






































db.users.findOne({username: ‘'kbanker', 
hashed password: 'bdlcfal94c3a603e71867808244b04419'})， 
{_iqd: 1}) 





由 考虑 这 些 排 序 是 否 高 效 是 很 重要 的 。 可 以 依靠 索引 来 处 理 排 序 , 但 随 着 排序 选项 的 增加 , 索引 数量 也 会 相应 增加 ， 
维护 这 些 索引 的 成 本 就 可 能 超出 可 接受 的 范围 。 如 末 每 个 分 类 的 产品 数量 很 少 ， 这 种 情况 尤为 突出 。 我 们 将 在 第 
8 章 中 深入 讨论 这 一 话题 ， 但 你 可 以 和 匈 考 虑 起 来 了 。 
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现在 的 啊 应 里 只 有 文档 的 _iq 字 段 了 : 

{ _id: ObjectId("4c4b1476238d3b4dd5000001") ]} 

还 有 很 多 其 他 对 用 户 集 合 users 的 查询 。 举 例 来 说 ,你 有 一 个 管理 后 台 ， 人 允许 根据 不 同 条 件 
查询 用 户 。 通 常会 查询 某 个 字段 ， 比 如 last_name: 








db.users.find({last name: 'Banker'}) 
这 条 查询 可 以 执行 , 但 仪 限于 精确 匹配 的 场景 。 也 许 你 并 不 知道 如 何 拼 写 某 个 用 户 的 名 字 ， 这 时 
就 需要 部 分 匹配 的 查询 。 假 设 知 着 用 户 的 姓氏 是 以 Ba 开头 的 ， 在 SQL 里 可 以 使 用 LIKE 条 件 来 进 
行 查询 : 

SELECT * from users WHERE last_name LIKE 'Bag%' 
MongoDB 中 语义 上 与 其 等 价 的 是 一 个 正则 表达 式 : 

db.users.find({last name: /^Ba/}) 
和 RDBMS 一 样 ， 像 这 样 的 前 级 搜索 可 以 用 上 索引 。™ 

在 面 回 用 户 进行 市 场 营销 之 前 ， 可 能 希望 明确 用 户 冰 围 ， 举 例 来 说 ， 想 要 获得 所 有 居住 在 
Upper Manhattan 的 用 户 ， 可 以 针对 用 户 的 邮政 编码 发 起 范围 查询 : 

db.users.find({'addresses.zip': {S$gte: 10019, $1lt: 10040}}) 

每 个 用 户 文档 都 包含 一 个 地 址 数组 ,其 中 有 一 到 多 个 地 址 。 如 末 这 些 地 址 中 有 哪个 邮政 编码 
落 在 指定 的 范围 里 , 那么 这 个 用 户 文档 就 会 被 匹配 到 。 要 让 该 查询 更 高 效 , 可 以 在 address .zip 
二 定义 一 个 索引 。 

根据 地 域 来 寻找 目标 用 户 未 必 是 提升 转化 率 的 最 好 途径 , 根据 用 户 买 过 的 东西 来 进行 分 组 会 
更 有 意义 。 这 会 要 求 执行 两 步 查询 : 首先， 基于 特定 产品 获得 一 个 订单 集合 , 一 旦 有 了 订单 ， 就 
能 查询 关联 的 用 户 了 。" 假 设想 找到 所 有 购买 过 大 型 手推车 的 用 户 ， 可 以 使 用 MongoDB 的 点 符号 
深入 line_items 数 组 ， 查 询 指 定 SKU: 















































db.orders.find({'line items.sku': "9092") 
还 可 以 针对 结果 集 做 限制 , 将 订单 限定 在 某 个 时 间 段 里 。 只 需 简 单 地 添加 一 个 查询 条 件 ， 指定 最 
小 的 订单 日 期 : 

db.orders.find({'line items.sku': "9092", 


'purchase date': {Sgte: new Date(2009, 0, 1)}}) 
如 果 这 些 查 询 很 频繁 ,需要 一 个 复合 索引 ， 先 按照 SKU 排 序 ， 然 后 再 按照 购买 日 期 排序 。 可 以 像 
下 面 这 样 创 建 索 引 : 


db.orders.ensureIndex({'line items.sku': 1, 'purchase date': 1}) 











Q) 如 果 不 熟 悉 正则 表达 式 ， 请 注意 : 正则 表达 式 /^Ba/ 可 以 解读 为 “ 行 首 以 8 打 涉 随后 是 a”。 

@) 曼哈顿 上 城 ， 指 纽约 市 曼哈顿 的 北部 区 域 。 一 一 译 考 注 

(3) 如 果 之 前 用 过 关系 型 数据 库 ， 此 处 无 法 对 订单 和 用 户 表 进行 关连 查询 可 能 会 让 你 党 得 不 便 ， 但 大 可 不 必 如 此 , 在 
MongoDB 里 执行 这 样 的 客户 端 关联 是 很 常见 的 。 








只 


dr 
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在 查询 ordqers 集 合 时 ， 所 寻找 的 就 是 用 户 卫 的 列表 。 因 此 ， 使 用 投影 会 更 高 效 一 些 。 下 面 这 段 
代码 中 ， 先 规定 只 要 user_iq 字 段 ， 然 后 将 查询 结果 转换 为 一 个 简单 的 ID 数组 ， 随 后 再 用 sin 控 
作 符 查询 users 集 合 : 

0 SURG SEO LO09O 


Purchase date: {'Sdgt': new Date(2009, 0, 1)}}, 
{user_id: 1, _id: 0}) .toArray() .map (function(doc) { return doc[l'user_iqd'] }) 





0 
在 ID 数组 有 上 千 个 元 素 时 ， 这 种 使 用 IDD 数组 和 sin 来 查询 集合 的 做 法 会 更 高 效 。 对 于 更 大 的 数 
据 集 , 比如 有 100 万 用 户 购买 了 手推车 , 最 好 是 将 那些 用 户 ID 写 到 临时 集合 中 , 然后 再 顺序 查询 。 

在 下 一 章 里 你 会 看 到 更 多 针对 该 数据 的 查询 ， 还 会 了 解 到 如 何 用 MongoDB 的 聚合 因数 分 析 
数据 。 但 为 了 充实 你 的 知识 ， 接 下 来 要 深入 介绍 MongoDB 的 查询 语言 ， 特 别 是 说 明 其 中 每 个 操 
作 符 的 语法 。 























5.2 ”MongoDB 查询 语言 


是 时 候 了 解 MongoDB 那 无 与 伦比 的 查询 语言 了 ， 我 会 先 从 查询 的 描述 、 语 义 和 类 型 开始 讲 
述 ， 然 后 讨论 游标 ， 因 为 每 条 MongoDB 查 询 本 质 上 来 看 都 是 实例 化 了 一 个 游标 并 获取 它 的 结果 
集 。 和 车 握 了 这 些 基 础 知识 之 后 ， 我 再 分 类 介 绍 MongoDB 查 询 操 作 符 本 














5.2.1 查询 选择 器 


我 们 和 匈 大 致 了 解 一 下 查询 选择 表 ， 尤 其 要 关注 所 有 能 用 它们 表示 的 查询 类 型 。 

1. 选择 器 匹配 

要 指定 一 条 查询 ， 最 简单 的 方法 就 是 使 用 选择 融 ， 其 中 的 键 值 对 直接 匹配 要 找 的 文档 。 下 面 
是 两 个 例子 : 


db.users.find({l]ast name: "Banker"}) 














db.users.find({first name: "Smith", age: 40}) 

第 二 条 查询 的 意思 是 “查找 所 有 first_name 是 Smith， 并 且 age 是 40 的 用 户 ”。 请 注意 ,无 
论 传人 多 少 个 键 值 对 , 它们 必须 全 部 匹配 ; 查询 条 件 之 间 相 当 于 用 了 布尔 运算 符 AND。 如 果 想 要 
表示 布尔 运算 符 OR， 可 以 阅读 后 面 关 于 布尔 操作 符 的 部 分 。 

2. 范围 查询 

我 们 经 党 需要 查询 某 些 信 在 一 个 特定 范围 内 的 文档 。 在 SQL 中 ， 可 以 使 用 <、<=、> 和 >=; 
在 MongoDB 中 有 类 似 的 一 组 操作 符 $SIt、$lLte、sgt 和 sgte。 贯 穿 全 书 ， 我 们 都 在 使 用 这 些 操 
作 符 , 它们 的 行为 与 预期 的 一 样 。 但 初学 者 在 组 合 使 用 这 些 操作 符 时 偶尔 会 很 费力 ， 篆 见 的 错误 
是 重复 搜索 键 : 


db.users.find({age: {S$gte: 0}, age: {S$lte: 30}) 


























QD 除非 你 十 分 关心 细节 ， 和 否则 在 初次 阅读 时 可 以 跳 过 这 部 分 内 容 。 
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因为 同一 文档 中 同一 级 不 能 有 两 个 相同 的 键 , 所 以 这 个 查询 选 择 囊 是 无 效 的 ， 两 个 范围 操作 
从 只 会 应 用 其 中 之 一 。 可 以 用 下 面 的 方式 来 表示 该 查询 : 

db.users.find({age: {Sgte: 0, slte: 30}) 

还 有 一 个 值得 注意 的 地 方 : 范围 操作 符 涉 及 了 类 型 。 仅 当 文档 中 的 值 与 要 比较 的 值 炎 型 相同 
时 "， 范 围 查询 才 会 匹配 该 值 。 例 如 ,假设 有 一 个 集合 ， 其 中 包含 以 下 文档 : 











a ObjectId("4caf82011b0978483ea29ada"),，, "value" : 97 } 
{ "_id" : ObjectId("4caf82031b0978483ea29adb"),， "value" : 98 } 
{ "_id" : ObjectId("4caf82051b0978483ea29adc"), "value" : 99 } 
{ "_id" : ObjectId("4caf820d1b0978483ea29ade"), "value" : "da" } 
{ "_id" : ObjectId("4caf820f1b0978483ea29adf"), "value" : "b" } 
ee ee ObjectId("4caf82101b0978483ea29ae0"™),，, "value" : "c" } 
然后 执 f4 了 如 下 查询 ， 


db.items.find({value: {Sgte: 97}) 

你 可 能 觉得 这 条 查询 应 该 把 六 个 文档 全 部 返回 ， iad 久 数 97 、98 
和 99 是 等 价 的 。 但 事实 并 非 如 此 ， 该 查询 只 会 返回 整数 结果 。 如 果 想 让 结果 是 字符 串 ， 就 应 该 改 
用 字符 串 来 进行 查询 : 

db.items.find({value: {Sgte: "a"}) 

只 要 同一 集合 中 永远 不 会 为 同一 个 键 保 存 多 种 类 型 ,就 可 以 不 用 担心 这 条 类 型 限 种 
个 很 好 的 实践 ， 你 应 该 加 守 它 。 

3. 集合 操作 符 

sin、sal1 和 snin 这 三 个 查询 操作 符 接受 一 到 多 个 值 的 列表 , 将 其 作为 谓词 。 如 果 任 意 给 定 
但 匹 配 搜索 键 ， $in 就 返回 该 文档 。 我 们 可 以 使 用 该 操作 符 返 回 所 有 属于 某 些 离散 分 类 集 的 产品 。 

请 看 以 下 分 类 ID 列表 : 


[ObjectId("6a5b1476238d3b4dd5000048")， 
ObjectId("6a5b1476238d3b4dd5000051")， 
ObjectId("6a5b1476238d3b4dd5000057") 

] 


如 果 它 们 分 别 对 应 割 草 机 、 手 持 工 具 和 工作 服 分 类 , 可 以 像 下 面 这 样 查询 所 有 属于 
的 产品 : 


db.products.find({main cat id: { Sin: 
[ObjectId("6a5b1476238d3b4dd5000048")， 
ObjectId("6a5b1476238d3b4dd5000051")， 
ObjectId("6a5b1476238d3b4dd5000057") ] } }) 


也 可 以 把 sin 操 作 符 想象 成 对 单个 属性 的 布尔 运算 符 OR, 之 前 的 查询 可 以 解释 为 “查找 所 有 
分 类 是 割 A 请 注意 ， 如 采 和 需要 对 多 个 属性 进行 布尔 型 OR 运算 ， 
需要 使 用 下 一 节 里 介绍 的 Sor 操 作 符 。 

Sing 未 常 被 用 于 ID 列 表 ， 本 章 之 前 有 一 个 例子 ,使 用 sin 来 返回 所 有 购买 过 特定 产品 的 用 户 。 
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由 请 注意 ， 数 字 类 型 ( 整 型 、 长 整 型 和 双 精 度 浮 点 数 ) 对 这 些 查 询 而 言 在 类 型 上 是 等 价 的 。 
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Snin 仅 在 与 给 定 元 素 都 不 匹配 时 才 返 回 该 文档 。 可 以 用 snin 来 查找 所 有 不 是 黑色 或 蓝 色 的 
产品 : 

db.products.find('detalills.color': 1{ Snin; ["black", "blue"] } 

最 后 ， 当 搜索 键 与 每 个 给 定 元 素 都 匹配 时 ，s$all 才 会 返回 文档 。 如 果 想 查找 所 有 标记 为 gift 
和 garden 的 产品 ，$all 是 个 不 错 的 选择 : 


db.products.find(tags: { S$all: ["gift", "garden"] } 
当然 ， 这 条 查询 只 有 在 以 标签 数组 的 形式 保存 cags 属 性 时 才 有 效 ， 比 如 下 面 这 样 : 
{ name: "Bird Feeder", 

tadgess [| "qift" "blrds, "garden, | 


} 

在 使 用 集合 操作 符 时 请 牢记 $in 和 sal1 能 利用 索引 ,但 $nin 不 能 ， 所 以 它 需 要 做 集合 扫描 。 
如 果 要 用 snin， 试 着 和 一 个 能 用 上 索引 的 查询 条 件 一 起 使 用 ， 最 好 是 换 种 方式 来 表示 这 条 查询 。 
举 个 例子 , 可 以 再 保存 一 个 属性 , 其 中 的 内 容 和 snin 查 询 等 价 。 例如 , 假设 经 常会 查询 {timeframe: 
{Snin: ['morning', 'afternoon']}} ,这 时 可 以 换 种 更 直接 的 方式 {timeframe: eVemnlnd' }。 

4. 布尔 操作 符 

MongoDB 的 布尔 操作 符 包 括 sne、 snot 、sSor、sand 和 Sexists。 

不 等 于 操作 符 Sne 的 用 法 可 以 想象 。 在 实践 中 ， 最 好 和 其 他 操作 符 结合 使 用 ; 否则 查询 效率 
可 能 不 高， 因为 它 无 法 利用 索引 。 例 如 ， 可 以 使 用 $ne 查 找 所 有 由 ACME 牛 产 并 且 没 有 gardening 
标签 的 产品 : 

db.products.find('details.manufacturer': 'ACME', tags: {S$ne: "gardening"} } 

sne 可 以 作用 于 单个 值 和 数组 ， 正 如 示例 所 示 ， 可 以 匹配 tags 数 组 。 

sne[ 匹 配 特 定 值 以 外 的 值 ,而 $not 则 是 对 男 -个 MongoDB 操 作 符 或 正则 表达 式 查 询 的 结果 求 
反 。 在 使 用 Snot 前 , 请 记 住 大 多 数 查 询 操 作 和 从 已 经 有 否定 形式 了 ($in 和 $nin、$Sgt 和 $lte 等 )， 
snot 不 该 和 它们 搭配 使 用 。 当 你 所 使 用 的 操作 符 或 正则 表达 式 没有 否定 形式 时 , 才 应 使 用 $not。 
例如 ， 如 果 想 查询 所 有 姓氏 不 是 8 打头 的 用 户 ， 可 以 这 样 使 用 snot: 

db.users.find(last name: {S$not: /^B/} } 

$or 表 示 两 个 不 同 键 对 应 的 值 的 逻辑 或 关系 。 其 中 重要 的 一 点 是 : 如 末 可 能 的 值 限定 在 同一 
个 键 里 ,使 用 $in 代 蔡 。 一 般 而 言 ， 查 找 所 有 蓝 色 或 绿色 产品 的 语句 是 这 样 的 : 

db.products.find('details.color': {S$in: ['blue', 'green']} } 

但 是 ， 查 找 所 有 蓝 色 的 或 者 是 由 ACME 生 产 的 产品 ， 就 要 用 Sor 了 : 


db.products.find({ Sor: [{'details.color': 'blue'}, {'details.manufacturer’': 
'ACME'}] }) 


Sor 接 受 一 个 查询 选择 器 数组 ， 每 个 选择 需 的 复杂 度 随 意 ， 而 且 可 以 包含 其 他 查询 操作 符 "。 
和 $or 一 样 ，sand 操 作 符 同样 接受 一 个 查询 选择 带 效 组 。 对 于 包含 多 个 键 的 查询 选择 骨 ， 
MongoDB 会 对 条 件 进 行 与 运算 ， 因 此 只 有 在 不 能 简单 地 表示 AND 关 系 时 才 应 使 用 Sand。 例 如 ， 






































GD 不 包括 Sor。 
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假设 想 查 询 所 有 标记 有 gifi 或 holiday， 同 时 还 有 gardening 或 landscaping 的 产品 。 表 示 该 查询 的 唯 
-途径 是 关联 两 个 $in 查 询 : 
db.products.find({Sand: | 
{tags {SIN [olftt',. "oliday |}}, 
{tags: {Sin: ['gardening', 'landscaping']}} 
] 


} 
) 


本 市 要 讨论 的 最 后 一 个 操作 符 是 $exists。 该 操作 符 的 存在 很 有 必要 ， 因 为 集合 没有 一 个 固 
定 的 Schema, 所 以 偶尔 需要 查询 包含 特定 键 的 文档 。 你 是 否 记得 我 们 计划 在 每 个 产品 的 details 
属性 里 保存 特定 的 字段 ”举例 来 说 ,假设 要 在 details 属 性 里 保存 一 个 color 字 段 。 但是， 如 果 
只 有 一 部 分 产品 中 定义 了 颜色 ， 可 以 像 下 面 这 样 将 未 定义 颜色 的 产品 找 出 来 : 

db.products.find({'details.color': {$exists: false}}) 
也 可 以 查找 定义 了 颜色 的 产品 : 

db.products.find({'details.color': {$exists: truel ] ) 


上 面 只 是 检查 了 存在 性 ， 还 有 另 一 种 检查 存在 性 的 方式 ， 两 者 几乎 是 等 价 的 : 用 nul11 来 匹配 属 
性 。 可 以 修改 上 述 查 询 ， 第 一 个 查询 可 以 这 样 表示 : 

db.products.find({'details.color': null}) 

第 二 个 是 这 样 的 : 

db.products.find({'details.color': {Sne: null}}) 

5. 匹配 子 文档 

本 书 的 电子 商务 数据 模型 中 , 有 些 条 目 里 的 键 指 癌 一 个 内 骸 对 象 。 产品 的 details 属 性 就 是 
一 个 很 好 的 例子 。 以 下 是 一 个 相关 文档 的 片段 ， 用 JSON 表 示 : 


{ _id: ObjectId("4c4b1476238d3b4dd5003981")， 
slug: "wheel-barrow-9092", 
SKU : 0 9 

















details: { 
model_num: 4039283402,， 
manufacturer: "Acme", 
manufacturer_id: 432, 
COLOF: "Green'" 
} 
} 


可 以 通过 . (点 ) 来 分 隔 相关 的 键 ， 查 询 这 些 对 象 。 举 例 来 说 ， 假 设想 查找 所 有 由 ACME 生 
成 的 产品 ， 可 以 这 样 做 : 
db.products.find({'details.manufacturer id': 432}); 


此 类 查询 里 可 以 指定 任意 的 深度 ,假设 和 微 修改 一 下 表述 : 
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{ _id: ObjectId("4c4b1476238d3b4dd5003981")， 
slug: "wheel-barrow-9092", 
SKU : OOOO 


details: { 
model num: 4039283402,， 
manufacturer: { name: "Acme", 
1d: 432 }, 
Color: "Greenn" 
} 
} 


可 以 在 查询 选择 需 的 键 里 包含 两 个 点 : 
db.products.find({'detailjs.manufacturer.1d': 432});，; 
除了 匹配 单个 子 文档 属 性 ， 还 可 以 匹配 整个 对 象 。 例 如 ,假设 正 使 用 MongoDB 保 存 股市 价 
位 ,为 了 方 省 空间 ,放弃 了 标准 的 对 象 D， 用 一 个 包含 股票 代码 和 时 间 惟 的 复合 键 取而代之 。 文 
档 的 表述 大 致 是 这 样 的 : ” 
{ _id: {sym: 'GOOG', date: 20101005} 
open: 40.23, 
hroghe T4550 
low: 38.81， 


close: 41.22 
} 


接 下 来 可 以 通过 如 下 _iad 查 询 获 取 GOOG 于 2010 年 10 月 5 日 的 价格 汇总 : 

db.ticks.find({_id: {sym: 'GOOG', date: 20101005} }); 

一 定 要 注意 , 像 这 样 匹 配 整 个 对 象 的 查询 会 执行 严格 的 字 方 比较 ,也 就 是 说 键 的 顺序 很 重要 。 
下 面 的 查询 与 其 并 不 等 价 ， 不 会 匹配 到 示例 文档 : 

db.ticks.find({_id: {date: 20101005, sym: 'GOOG'} }); 

虽然 Shell 中 输入 的 JSON 文 档 的 键 顺序 会 被 保留 ， 但 并 不 是 所 有 语言 驱动 的 文档 表述 都 是 如 
此 。 例 如 ，Ruby 1.8 里 的 散 列 并 不 会 保留 顺序 ， 要 在 Ruby 1.8 中 保留 键 顺 序 ， 必 须 使 用 


BSON: :OrdereqHash 类 . 

















doc = BSON: :OrderedHash.new 
doc['sym'] = 'GOOG' 
doc[l'date'] = 20101005 
@ticks.find (doc) 


一 定 要 检查 正 使 用 的 语言 是 否 文 持 有 序 字 典 ; 如 打 不 文 持 的 话 ， 该 语言 的 MongoDB 驱 动 会 
提供 一 个 有 序 的 符 代 品 。 

6. 效 组 

数组 使 得 文档 模型 更 加 强大 ， 如 你 所 见 ， 数 组 可 以 用 来 存储 字符 串 列表 、 对 象 ID 列表 ， 甚 至 
是 其 他 文档 的 列表 。 数 组 能 带 来 更 丰富 、 更 易 理 解 的 文档 ; 按照 常理 ，MongoDB 能 轻松 地 查询 


























中 在 潜在 的 高 否 吐 量 场景 下 ， 我 们 希望 尽 可 能 地 限制 文档 大 小 。 可 以 使 用 较 短 的 键 名 部 分 实现 该 目的 ， 比 如 用 o 代 
替 open。 
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并 索引 数组 类 型 。 事实 也 是 如 此 : 最 简单 的 数组 查询 就 和 其 他 文档 类 型 的 查询 一 样 。 仍 以 产品 标 
签 为 例 ， 用 简单 的 字符 串 数 组 来 表示 标签 : 
{ _id: ObjectId("4c4b1476238d3b4995003981")， 


slug: "wheel-barrow-9092", 
sk "9092", 


tags: [Eo0ls", "egquipment", vsoil"| } 
查询 带 有 soil 标 签 的 产品 很 简单 ， 使 用 的 语法 就 和 查询 单个 文档 值 时 一 样 : 
db.products.find({tags: "soil"}) 
重要 的 是 , 这 条 查询 能 利用 kags 字 段 上 的 索引 。 如 果 在 该 字段 上 构建 了 索引 , 并且 explain() 
该 查询 ， 可 以 看 到 使 用 了 B 树 游标 : 


db.products.ensureIndex({tags: 1}) 
db.products.find({tags: "soil"}) .explain!() 


在 需要 对 数组 查询 拥有 更 多 掌控 时 , 可 以 使 用 点 符号 来 查询 数组 特定 位 置 上 的 值 。 下 面 是 如 
何 对 之 前 的 查询 进行 限制 ， 只 查询 产品 的 第 一 个 标签 : 




















db.proeduete. find({'taoges. 0 "SorL"},) 
如 此 查询 标签 可 能 意义 不 大 ,但 假设 正在 人 处理 用 户 地 址 ， 可 以 用 子 文档 数组 来 表示 地 址 : 
{ _1id: ObjectId("4c4b1476238d3b4dd5000001") 
username: "kbanker", 
addresses: | 
{name: "home", 
street: "588 5th Street", 
city: "Brooklyn", 
state: ND 
Zip: Ale Sud se 
{name: "work", 
street: "1 E. 23rd Street", 
City: "New York", 
state Ne 
zip 10010},， 


] 
} 


我 们 可 以 规定 数组 的 第 0 个 元 系 始 终 是 用 户 的 站 选送 人 负 地 址 。 因 此 ， 要 找到 所 有 前 选送 余地 
址 在 纽约 的 用 户 ， 可 以 指定 第 0 个 位 置 ， 并 用 点 来 明确 state 字 上 段 : 

db.users.find({'addresses.0.state': "NY")) 

我 们 还 可 以 忽略 位 置 ， 耳 接 指定 字段 。 如 末 列 表 中 的 任 芝 地址 在 纽约 范围 内 ,下面 的 查询 就 
会 返回 用 户 文档 : 

db.users.find({'addresses. state': "NY"}) 


与 之 前 一 样 ， 我 们 硕 望 为 市 点 的 字段 加 上 有 索引 : 


db.users.ensureIndex({'addresses.state': 1}) 
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请 注意 ， 无 论 字 上段 是 指向 子 文 档 ， 还 是 子 文档 数组 ， 都 使 用 相同 的 点 符号 。 点 符号 很 强大 ， 
而 且 这 种 一 至 性 很 可 徘 。 但 在 查询 子 对 象 数 组 中 的 多 个 属性 时 会 种 来 上 收 义 , 例如 假设 想 获 取 所 有 
家 庭 地 址 在 纽约 的 用 户 列 表 ， 该 如 何 表示 这 条 查询 呢 ? 

db.users.find({'addresses.name': 'home', 'addresses.state': 'NY'}) 

上 述 查 询 的 问题 在 于 所 引用 的 字段 并 不 局 限于 单个 地 址 ; 换言之 , 只 要 有 一 个 地 址 被 设置 为 
“home”,， 一 个 地 址 是 在 纽约 ， 这 条 查询 就 能 匹配 上 了 ， 但 我 们 希望 将 两 个 属性 都 应 用 到 同一 个 
地 址 上 。 池 好 有 一 个 针对 这 种 情况 的 查询 操作 符 ， 要 将 多 个 条 件 限 制 在 同一 个 子 文档 上 , 可 以 使 
用 $elemMatch 操 作 符 ， 可 以 这 样 进行 查询 : 

db.users.find({addresses: {$elemMatch: {name: 'home', state: 'NY'}}}) 

从 逻辑 上 来 看 ， 只 有 在 需要 匹配 子 文档 中 的 多 个 属性 时 才 会 使 用 $elemMatch。 

唯一 还 没 讨论 的 数组 操作 符 是 $size， 该 操作 人 符 能 让 我 们 根据 数组 大 小 进行 查询 。 例 如 ,， 假 
设 希 望 找 出 所 有 带 三 个 地 址 的 用 户 ， 可 以 这 样 使 用 $size 操 作 符 : 

db.users.find({addresses: {$size: 3}}) 

在 本 书 编写 时 ，$size 操 作 符 是 不 使 用 索引 的 ， 而 且 仪 限于 精确 匹配 (不 能 指定 数组 大 小 范 
围 ) "。 因 此 ， 如 果 需 要 基于 数组 的 大 小 进行 查询 ， 应 该 将 大 小 缓存 在 文档 的 属性 中 ， 当 数组 变 
化 时 手动 更 新 该 值 。 举 例 来 说 ， 可 以 考虑 为 用 户 文档 添加 一 个 adqqress_1 ength 字 上 段 ， 并 为 该 字 
段 添加 索引 ， 随 后 再 发 起 范围 查询 和 精确 查询 。 

7. JavaScript 

如 果 目 前 为 止 的 工具 都 无 法 表示 你 的 查询 , 那 就 可 能 需要 写 一 些 JavaScript 了 。 我 们 可 以 使 用 
特殊 的 swhere 操 作 符 ， 问 任意 查询 中 传人 一 个 JavaScript 表 达 式 。 在 JavaScript 上 下 文 里 ， 关 键 字 
this 指 癌 当 前 文档 ， 让 我 们 来 看 一 个 例子 : 

db.reviews.find({S$where: "function() { return this.helpful votes > 3; }"}}) 

该 查询 还 有 一 个 简化 形式 : 

db.reviews.find({S$where: "this.helpful votes > 3"}}) 

这 个 查询 能 正常 使 用 ,但 你 永远 也 不 会 想 去 使 用 它 ， 因 为 可 以 用 标准 查询 语言 轻松 表示 该 查询 。 
问题 是 JavaScript 表 达 式 无 法 使 用 索引 ， 由 于 必须 在 JavaScript 解 释 右 上 下 文中 运算 ， 还 市 来 了 突 
外 的 大 量 开销 ,出 于 这 些 原因 ,应 该 只 在 无 法 通过 标准 查询 语言 表示 查询 时 才 使 用 JavaScript 查 询 。 
如 果 确 实 有 和 需要， 请 尝试 为 JavaScript 表 达 式 融 上 至 少 一 个 标准 查询 操作 符 。 标 准 查 询 操 作 符 可 
以 缩小 结果 集 ， 减少 必 须 加 载 到 JS 上 下 文 里 的 文档 。 让 我 们 看 个 简单 的 例子 ， 看 看 为 什么 需要 
这 么 做 。 

假设 为 每 个 用 户 都 计算 了 一 个 评分 可 靠 性 因子 , 这 是 一 个 整数 , 与 用 户 的 评分 相 乘 之 后 可 以 
得 到 一 个 更 标准 化 的 评分 。 假 设 后 续 想 查询 某 个 特定 用 户 的 评论 ， 并 且 只 返回 标准 化 评分 大 于 3 
的 记录 。 查 询 语 句 是 这 样 的 : 













































































Q 关于 这 个 问题 ， 更 新 内 容 参 见 https://jira.mongodb.org/browse/SERVER-478。 
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db.reviews.find({user id: ObjectId("4c4b1476238d3b4dqd5000001")， 
Swhere: "(this.rating * .92) > 3"}) 


这 条 查询 满足 了 之 前 的 两 条 建议 : 在 user_id 字 上 段 上 使 用 了 标准 查询 , 这 个 字段 一 般 是 有 索 
引 的 ; 在 超出 标准 查询 语言 能 力 的 情况 下 使 用 了 JavaScript 表 达 式 。 

除了 要 识别 出 额外 的 性 能 开销 , 还 要 意识 到 JavaScript 注 入 攻击 的 可 能 性 。 当 用 户 可 以 直接 问 
JavaScript 查 询 中 输入 代码 时 就 有 可 能 发 生 注 和 攻击。 虽然 用 户 无 法 通过 这 种 方式 修改 或 删除 数 
据 ， 但 却 能 获取 敏感 数据 。Ruby 中 的 不 安全 JavaScript 查 询 可 能 是 这 个 样子 的 : 

eusers.find({Swhere => "this.#{attribute} == #{value}"}) 

假定 用 户 能 控制 attribute 和 value 的 值 , 他 就 能 以 任意 属性 对 来 查询 集合 。 虽 然 这 不 是 最 
坏 情况 的 入 侵 ， 但 还 是 应 该 尽量 避 倪 它 。 

8. 正则 表达 式 

本 草 开 篇 的 地 方 ， 我 们 看 到 在 查询 中 有 使 用 正则 表达 式 ， 在 那个 例子 里 ， 我 演示 了 前 级 表 
达 式 /^Ba/， 用 它 来 查找 以 Ba 开头 的 姓氏 ， 并 且 指 出 这 条 查询 能 用 上 索引 。 实 际 上 ， 我 们 还 能 
使 用 更 多 的 正则 表达 式 。MongoDB 编 译 时 用 了 PCRE ( http://mng.bz/hxmh )， 它 支持 大 量 的 正则 
表达 式 。 

除了 之 前 提 到 的 前 缀 查询 ， 正 则 表达 式 都 用 不 上 索引 。 因 此 ， 我 建议 在 使 用 时 和 JavaScript 
表达 式 一 样 ， 结 合 至 少 一 个 其 他 查询 项 。 下 面 的 例子 中 ,将 查询 指定 用 户 的 包含 best 或 worst 文 字 
的 评论 。 请 注意 ， 这 里 使 用 了 正则 表达 式 标记 i "来 表示 忽略 大 小 写 : 


db.reviews.find({user id: ObjectId("4c4b1476238d3b4dqd5000001")， 
text: /best|lworst/i }) 


如 果 所 使 用 的 语言 拥有 原生 的 正则 表达 式 类 型 , 我 们 也 可 以 使 用 原生 的 正则 表达 式 对 象 执行 
查询 。 在 Ruby 中 相同 的 查询 语句 是 这 样 的 : 


GQreviews.find({:user id => BSON: :ObjectId("4c4pb1476238d3b4dd5000001")， 
text =>7/best|worst/i }) 


如 果 我 们 的 环境 中 不 支持 原生 的 正则 表达 式 类 型 , 可 以 使 用 特殊 的 Sregex 和 $options 操作 
件 。Shell 中 通过 这 些 操 作 符 可 以 这 样 来 表示 上 述 查 询 : 


db.reviews.find({user id: ObjectId("4c4b1476238d3b4dd5000001")， 
text: {Sregex: "best|worst", $options: "i" }) 


9. 其 他 查询 操作 符 

还 有 两 个 查询 操作 符 难 以 归 类 ， 所 以 单独 进行 讨论 。 第 一 个 是 smoda， 人 允许 查询 匹配 指定 取 
模 操 作 的 文档 。 淮 例 来 说 ， 可 以 通过 下 列 查 询 找 出 所 有 小 计 能 被 3 整除 的 订单 : 

db.orders.find({subtotal: {smod: [3, 0]}}) 

我 们 看 到 $mogd 操 作 符 接 受 两 个 值 组 成 的 数组 ， 第 一 个 值 是 除数 ， 第 二 个 值 是 期 望 的 余数 。 
因此 ， 可 以 这 样 来 理解 该 查询 : 找 出 所 有 小 计 除 以 3 后 余 0 的 文档 。 这 个 例子 是 故意 做 出 来 的 , 但 
它 能 体现 出 背后 的 思想 。 如 果 要 使 用 $mod 操 作 符 ， 请 牢记 它 无 法 使 用 索引 。 







































































中 使 用 了 忽略 大 小 写 的 选项 就 无 法 在 查询 中 使 用 索引 ， 就 算是 在 前 级 匹配 时 也 是 如 此 。 
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第 二 个 操作 符 是 stype， 根 据 BSON 类 型 来 匹配 值 。 我 不 建议 为 一 个 集合 的 同一 个 字段 保存 
多 种 类 型 ,但 是 如 果 发 生 这 样 的 情况 , 可 以 用 这 个 操作 符 来 检查 类 型 。 我 最 近 发 现 某 个 用 户 的 _ia 
查询 总 是 匹配 不 上 数据 ， 而 实际 上 不 应 该 发 生 这 样 的 情况 ， 这 时 stype 操 作 符 就 能 派 上 用 场 了 。 
问题 的 原因 是 他 既 将 卫 保 存 为 字符 串 ， 又 将 其 保存 为 对 象 DD， 它 们 的 BSON 类 型 分 别 是 2 和 7， 对 
于 新 用 户 而 言 ， 很 容易 就 会 忽略 两 者 的 区 别 。 

要 修正 这 个 问题 , 首先 要 找 出 所 有 以 字符 串 形式 保存 有 D 的 文档 ,使 用 $type 操作 符 就 可 以 了 : 


db.users.find({_id: {Stype: 2}}) 























5.2.2 ”查询 选项 


所 有 的 查询 都 要 有 一 个 查询 选择 带 。 束 算 没有 提供 ,查询 本 续 实际 就 是 由 查询 选择 帮 定 义 的 。 
但 在 发 起 查询 时 ， 有 多 种 查询 选项 可 供 选 择 ， 它 们 能 进一步 约束 结果 集 。 本 市 将 介绍 这 些 选项 。 

1. 投影 

在 查询 结果 集 的 文档 中 ,可 以 使 用 投影 来 选择 字段 的 于 集 进行 返回 。 当 有 大 文档 时 就 更 应 该 
使 用 投影 ， 这 能 最 小 化 网 络 延 时 和 反 序列 化 的 开销 。 通 常 是 用 要 返回 的 字段 集合 来 定义 投影 : 

db.users.find({}, {username: 1}) 

该 查询 返回 的 用 户 文 档 只 包含 两 个 字段 : username 和 _iqd。 默 认 情 况 下 ，_igd 字 上 段 总 是 包含 
在 返回 结 有 内。 

在 某 些 情 况 下 ,你 可 能 还 会 希望 排除 特定 字段 。 举 例 来 说 ,本 书 的 用 户 文 档 中 包含 送 货 地 址 
和 文 付 方式 ,但 通常 并 不 需要 这 些 信 息 ， 为 了 将 其 排除 掉 ， 可 以 在 投影 中 添加 这 些 字段 ， 并 将 其 
值 设置 为 0: 

De 

除了 包含 和 排除 字段 ， 还 能 返回 保存 在 数组 里 的 某 个 施 围 内 的 值 。 例如 ,我们 可 能 想 在 产品 
文档 中 保存 产品 评论 ， 同 时 还 希望 能 对 那些 评论 进行 分 页 ， 为 此 可 以 使 用 $slice 操 作 符 。 要 返 
回头 12 篇 评论 或 者 倒数 $ 篇 评论 ， 可 以 像 这 样 使 用 $Sslice: 


db.products.find({}, {reviews: {S$slice: 12}}) 
db.products.find({}, {reviews: {S$slice: -5}}) 


$slice 还 能 接受 两 个 元 素 的 数组 ,分别 表 示 跳 过 的 元 素数 和 返回 元 素 个 数 限制 。 下 面 演示 
如 何 跳 过 头 24 篇 评论 ， 并 限制 仪 返回 12 篇 评论 : 

db.products.find({}, {reviews: {S$slice: [24, 12]}}) 

最 后 ， 注 意 $slice 并 不 会 阻止 返回 其 他 字段 。 如 果 和 希望 限制 文档 中 的 其 他 字段 ， 必 须 显 式 
地 进行 控制 。 例 如 ， 修 改 上 述 查 询 ， 仪 返回 评论 及 其 评分 : 

db.products.find({}, {reviews: {Sslice: [24, 12]}, 'reviews.rating': 1}) 


2. 排序 
所 有 的 查询 结果 都 能 按照 一 个 或 多 个 字段 进行 升序 或 降序 排列 。 例 如, 根据 评分 对 评论 做 排 















































序 ， 从 高 到 低 降 序 排列 : 

db.reviews.find({}).sort({rating: -1}) 

显然 ， 先 根据 有 用 程度 排序 ， 随 后 再 是 评分 ， 这 样 的 排序 可 能 更 有 价值 : 

db.reviews.find({}).sort({helpful votes:-1, rating: -1}) 

在 类 似 的 组 合 排序 里 ， 顺 序 至 关 重 要 。 正 如 书 中 其 他 地 方 所 说 的 ，Shell 中 键入 的 JSON 是 有 
顺序 的。 因为 Ruby 的 散 列 是 无 序 的 ， 所 以 可 以 用 数组 的 数组 来 指定 排序 顺序 ， 数 组 是 有 序 的 : 

@Qreviews.find({}).sort([['helpful votes', -1], [rating, -1]]) 

在 MongoDB 中 指定 排序 非常 简单 ， 但 书 中 其 他 章节 里 讨论 到 的 两 个 主题 对 理解 排序 来 说 必 
不 可 少 。 其 一 ， 了 解 如 何 使 用 snatural 操 作 符 根 据 插入 顺序 进行 排序 ， 这 是 在 第 4 章 里 讨论 的 。 
其 二 ， 这 点 就 更 有 关系 了 ， 即 了 解 如 何 保 证 排序 能 有 效 利 用 到 索引 ， 第 8 革 里 会 讨论 这 个 主题 。 
如 果 正 在 大 量 使 用 排序 ， 可 以 先 阅读 党 8 草 。 

3. skip 与 1imit 

skip 与 1imit 的 语义 很 容易 理解 ， 这 两 个 查询 选项 的 作用 上 总 能 满足 预期 。 

但 在 问 skip 传 递 很 大 的 值 ( 比如 大 于 10 000 的 值 ) 时 需要 注意 ， 因 为 执行 这 种 查询 要 扫描 和 
skip 值 等 量 的 文档 。 例 如 ,假设 正 根据 日 期 降序 对 100 万 个 文档 进行 分 页 ， 每 页 10 条 结果 。 这 意 
味 厦 显示 第 50 000 页 的 查询 要 跳 过 500 000 个 文档 ， 这 样 做 的 效率 太 低 了 。 更 好 的 条 上 略 是 省 上 略 
skip， 添 加 一 个 范围 条 件 ， 指 明 下 一 结果 集 从 何 处 开始 。 如 此 一 来 ， 这 条 查询 : 

db.docs.find({}).skip(500000) .limit(10) .sort ({date: -1}) 

就 变 成 了 : 

1 ee Re ee RN ee 

第 二 条 查询 扫描 的 文档 远 少 于 第 一 条 。 唯 一 的 问题 是 如 果 每 个 文档 的 日 期 不 唯一 , 相同 的 文 
档 可 能 会 显示 多 次 。 有 很 多 应 对 这 种 情况 的 策略 ， 寻 找 解决 方案 的 任务 就 留 给 谈 者 了 。 


















































5.3 ”聚合 指令 

我 们 已 经 看 过 MongoDB 的 聚合 命令 count 的 例子 了 (count 被 用 于 分 页 )。 大 多 数 数 据 库 都 
提供 了 count 和 其 他 很 多 内 置 的 聚合 遇 数 ， 用 于 计算 总 和 、 平 均 数 、 方 差 等 。 这 些 特性 都 在 
MongoDB 的 规划 之 中 , 但 在 实现 前 ,我们 可 以 使 用 group 与 nap-redquce 编 与 脚本 实现 各 种 聚合 
为 数 ， 从 简单 的 求 和 到 计算 标准 差 。 


5.3.1 根据 用 亡 对 评论 进行 分 组 


通常 人 们 都 想 知 道 哪些 用 户 提供 了 最 有 价值 的 评论 。 既 然 应 用 程序 允许 用 户 为 评论 投票 , 那 
么 从 技术 上 讲 ， 就 能 计算 出 某 个 用 户 所 有 评论 的 总 得 票数 ， 以 及 该 用 户 每 篇 评论 的 平均 得 票数 。 
虽然 可 以 查询 所 有 评论 并 执行 一 些 基本 的 客户 闪 处 理 来 获取 这 些 统计 信息 ， 但 还 可 以 使 用 
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MonogoDB 的 group 命 令 从 服务 融 获 取 结 

group 最 少 需 要 三 个 参数 。 第 一 个 参数 是 key， 定 义 如 何 对 数据 进行 分 组 。 本 例 中 ， 我 们 希 
望 结 果 根 据 用 户 分 组 , 因此 分 组 的 键 是 user_igd。 第 二 个 参数 是 一 个 对 结果 集 做 聚合 的 JavaScript 
中 数 ， 叫 requce 函 数 。 第 三 个 分 组 参数 是 reduce 气 数 的 初始 文档 。 

实际 并 没有 听 上 去 那么 复杂 。 让 我 们 仔细 看 看 将 用 到 的 初始 文档 ,以 及 相应 的 redquce 函 数 : 








initial = {review: 0, votes: 0}; 

reduce = function(doc, aggregator) { 
aggregator.reviews += 1.0,，; 
aggregator.votes += dO VOLees 


} 
我 们 看 到 初始 化 文档 为 每 个 分 组 键 定义 了 一 些 值 ， 换言之 ,每 次 运行 group， 我 们 都 希望 针 
对 每 个 user_id 得 到 一 个 结果 集 ， 其 中 包含 写 过 的 评论 总 数 ， 以 及 所 有 那些 评论 的 总 得 票数 。 生 
成 这 些 总 和 的 工作 是 由 reduce 兄 数 完 成 的 。 假 设 我 写 了 五 条 评论 ， 也 就 是 说 有 五 个 评论 文档 中 
标记 有 我 的 用 户 ID ， 这 五 个 文档 都 会 被 分 别传 递 给 reaquce 困 数 ， 作 为 aoc 参 数 。 一 开始 
aggregator 的 值 是 initial 文 档 ， 后 续 每 处 理 一 个 文档 就 会 往 aggregator 里 添加 值 。 
下 面 展示 如 何在 JavaScript Shell 中 执行 group 命 令 。 


代码 清单 5-1 使 用 MongoDB 的 group 命 令 














results = db.reviews .grouplt 
key: {user_id: true}, 
initial: {reviews: 0, votes: 0.0}, 
reduce: function(doc, aggregator) { 


aggregator.reviews += 1; 
aggregator.votes += doc.votes; 
} 
finalize: function(doc) { 
doc.average = doc.votes / doc.reviews; 
} 
了 


请 注意 ， 此 处 向 group 传 递 了 一 个 额外 的 参数 。 我 们 希望 获得 每 篇 评论 的 平均 得 票数 ,但 在 
计算 出 总 的 评论 得 票数 和 评论 总 数 之 前 ， 无 法 得 到 该 值 。 这 就 是 使 用 终结 器 (finalizer ) 的 原因 ， 
它 是 一 个 JavaScript 函 数 , 在 group 命 令 返回 前 应 用 于 每 个 分 组 结果 上 。 本 例 中 , 我 们 使 用 终结 天 
计算 每 篇 评论 的 平均 得 票数 。 

下 面 是 针对 示例 数据 集运 行 以 上 聚合 的 结 


代码 清单 5-2 group 命令 的 结果 
[ 
{user_id: ObjectId("4d00065860c53a481aeab608")， 
VOLTES: 20.0, 
reviews: 7， 
average: 3.57 


}, 











{user_id: ObjectId("4d00065860c53a481aeab608")， 


votes: 25.0, 
reviews: 7, 
average: 3.57 
) 

] 


本 章 结 尾 处 我 们 还 会 谈 到 group 命 令 ,， 包括 它 所 有 的 选项 和 特质 。 





5.3.2 根据 地 域 对 订单 应 用 MapReduce 


我 们 可 以 把 MongoDB 的 map-reduce 当 做 更 灵活 的 group。 有 了 map-reduce， 可 以 更 细 粒 
度 地 控制 分 组 键 , 还 有 大 量 输出 选项 可 用 ,包括 将 结 末 存 储 在 新 的 集合 里 ,以 便 后 续 能 够 更 方便 
地 获取 那些 数据 。 计 我 们 通过 一 个 例子 来 了 解 两 者 在 实践 中 的 不 同 。 

我 们 有 时 希望 生成 一 些 销 售 汇 总 , 可 以 以 此 为 例 。 每 个 月 销售 量 有 多 少 ? 过 去 一 年 里 每 个 月 
的 销售 额 有 和 多少? 通过 map-reduce 可 以 很 方便 地 回答 这 些 问题 。 正 如 map-reduce 的 名 字 所 上 暗 
示 的 ， 第 一 步 就 是 编写 一 个 映射 商 数 ， 应 用 于 集合 里 的 每 个 文档 ,在 此 过 程 中 实现 两 个 日 的 : 定 
义 分 组 所 用 的 键 ， 整 理 计算 所 需 的 所 有 数据 。 要 实际 了 解 这 个 过 程 ， 可 以 仔细 查看 以 下 函数 : 

map = function() { 


Var shipping month = this.purchase date.getMonth() + 
'-' + this.purchase data.getFullYear ();， 





























Var jtems = 0; 
this.line items.forEach (function(item) { 
items += item.quantity,; 


1 


emit (shipping month, {order total: this.sub total, items total: items}).; 


} 

首先 ， 需 要 知道 变量 this 总 是 指 四 正在 欠 代 的 文档 。 在 函数 的 第 一 行星， 我们 获取 了 一 个 
表示 订单 创建 月 份 的 整数 *。 随 后 调用 了 emit () ， 这 是 每 个 映射 函数 必须 要 调用 的 特殊 方法 。 
emit () 的 第 一 个 参数 是 分 组 依据 的 键 ， 第 二 个 参数 通 稼 是 包含 要 执行 requce 的 值 的 文档 。 本 例 
中 ， 我 们 要 根据 月 份 分 组 ， 对 每 个 订单 的 小 计 和 明细 项 数量 做 统计 。 看 了 与 之 对 应 的 reduce 孔 
数 之 后 ， 一 切 就 再 明日 不 过 了 : 

reduce = function(key, values) { 


var tmpTotal 0 ; 
Var tmpILems 日 ， 














values.forEach (function(doc) { 
tmTotal += doc.order total: 
tmpItems += doc.items_ total; 
1 
return ( {total: tmoTotal, items_total : tmpoItems} ); 
} 





Q) 因为 JavaScript 的 月 份 是 从 0 开始 的 , 所 有 该 值 的 范围 是 0~11。 我 们 需要 在 此 基础 上 加 1, 这 样 的 月 份 表述 更 加 直观 。 
后 面 加 了 -和 年 份 ， 因 此 整个 键 看 起 来 是 这 样 的 : 1-2011、2-2011， 以 此 类 推 。 
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reduce 卫 数 接受 一 个 键 和 一 个 包含 一 个 或 多 个 值 的 数组 。 编写 reduce 函 数 时 要 确保 那些 值 
按照 既定 的 方式 进行 聚合 , 并 有 旦 能 返回 单个 值 。 因 为 nap-reduce 的 迭代 本 质 ，reduce 可 能 被 执 
行 多 次 ,而 编写 代码 时 必须 把 这 种 情况 也 考虑 在 内 。 在 实践 中 ,这 就 意味 着 对 于 一 个 映射 函数 给 
出 的 值 而 言 ， 多 次 执行 reduce 隐 数 的 返回 值 必须 保证 是 相同 的 。 和 仔细 想 想 ， 你 会 发 现 情况 就 是 
这 样 的 。 

AAA eb A 数 和 一 个 reduce 函 数 作为 参数 。 本 例 中 还 
加 了 另外 两 个 参数 。 第 一 个 参数 是 查询 过 滤 需 , 将 聚合 操作 所 涉及 的 文档 限制 在 2010 年 之 后 人 
的 订单 。 第 二 个 参数 是 输出 集合 的 名 称 。 


filter = {purchase date: {sgte: new Date(2010, 0, 1)}} 
db.orders.mapReduce (map, reduce, {query: filter, out: 'totals'}) 


该 操作 的 结果 保存 在 名 为 Lotals 的 集合 之 中 , 我 们 可 以 像 查 询 其 他 集合 一 样 对 它 进行 查询 。 
下 面 的 代码 显示 了 对 totals 焦 合 的 查询 结果 。_id 字 上 段 是 分 组 键 ， 其 中 的 内 容 是 年 和 月 ; value 
字段 是 统计 出 的 汇总 El 


代码 清单 5-3 查询 map -reduc e 的 输出 集合 


> db.totals.find() 

{ 9: "1-=2011", value: 1{ total: 32002300, items: 59 }} 

{ _id: "2-2011", value: { total: 45439500, items: 71 }} 

{ _id: "3-2011", value: { total: 54322300, items: 98 }} 

{ { 
{ 


























jd: "4-2011", value: total: 75534200, jijtems: 115 }} 
{ id.: "5S=2011", value: total: 81232100, items: 121 }} 


本 万 的 示例 从 实践 出 发 让 我 们 对 MongoDB 的 聚合 能 力 有 了 感性 的 了 解 ， 下 一 他 的 内 容 会 
兰 它 的 大 部 分 细节 内 容 。 


5.4 ”详解 聚合 
本 节 我 将 对 MongoDB 的 聚合 困 数 做 详细 说 明 。 





5.4.1 max() 与 min() 


通常 总 是 需要 找到 给 定 集合 里 的 最 大 和 最 小 值 。 使 用 SQL 的 数据 库 提 供 了 min () 和 max() 郴 
数 ， 但 MongoDB 没 有 这 样 的 函数 ， 我 们 必须 自己 实现 。 要 找到 某 个 字段 中 的 最 大 值 ， 可 以 按照 
该 字段 降序 排序 ， 并 限制 结果 集 为 一 个 文档 ; 按照 相反 顺序 排序 就 能 取 到 对 应 的 最 小 值 。 例 如 ， 
如 果 和 希望 找到 投票 数 最 多 的 评论 ， 查 询 需 要 对 投票 的 字段 进行 排序 ， 限 制 返回 一 个 文档 : 

db.reviews.find({}) .sort({helpful votes: -1}).1imit(1) 

返回 文档 中 的 helpful1_votes 字 段 包含 了 该 字段 中 的 最 大 仁 。 要 获取 最 小 值 ， 只 要 逆序 排 
列 就 行 了 

db.reviews.find({}) .sort({helpful votes: 1}).1imit(1) 


如 采 要 在 生产 环境 中 发 起 查询，helpful_votes 字 段 最 好 能 有 一 个 索引 。 如 采 想 获得 特定 
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产品 里 投票 数 最 多 的 评论 , 则 需要 一 个 broduct_ig 和 helpful_votes 的 复合 索引 。 如 果 不 清楚 
这 么 做 的 原因 ， 可 以 阅读 第 7 章 。 


5.4.2 distinct 


MongoDB 的 aistinct 命 令 是 获取 特定 字段 中 不 同 值 列表 的 最 简单 工具 。 该 命令 既 适 用 于 单 
键 ， 也 适用 于 数组 键 。aistinct 默 认 履 善 整 个 集合 ， 但 也 可 以 通过 查询 选择 震 进 行 约束 。 

可 以 像 下面 这 样 使 用 ai stinct 获 取 产 品 集合 里 所 有 唯一 标签 的 列表 : 

db.products.distinct ("tags") 

这 很 简单 。 如 采 硕 望 操 作 pbrodqucts 集 合 的 一 个 子 集 ， 可 以 传人 一 个 查询 选择 硕 作 为 第 二 个 
参数 。 这 里 的 查询 将 不 同 的 标签 值 限 定 到 Gardening Tools 分 类 里 的 产品 : 


db.products.distinct ("tags", 
{category_id: ObjectId("6a5b1476238d3b4dd5000048")}) 

















在 实用 性 方面 ，distinct 和 group 有 一 个 很 大 的 限制 它们 返回 的 结果 集 不 能 超过 
16 MB。16 MB 的 限制 并 不 是 这 些 命令 本 身 所 强加 的 浆 值 ， 这 是 所 有 的 初始 查询 结果 集 大 小 。 
distinct 和 group 是 以 命令 的 方式 实现 的 ， 也 就 是 对 特殊 的 Scmq 集 合 的 查询 ， 它 们 赖 以 生存 
的 查询 则 受制 于 该 限制 。 如 果 dqistinct 或 group 处 理 不 了 你 的 聚合 结果 集 ， 那 么 就 只 能 使 用 
map-reduce 代 着 了 ， 它 的 结果 可 以 保存 在 集合 中 而 非 内 联 (inline ) 返回 。 





5.4.3 group 


group 和 daistinct 一 样 , 也 是 数据 库 命 令 , 因此 它 的 结果 集 也 受制 于 同样 的 16 MB 啊 应 限制 。 
而 且 , 为 了 减少 内 存 消耗 , group 不 会 处 理 多 于 10 000 个 唯一 键 ,如 果 聚 合 操作 在 此 范围 内 ,group 
是 个 不 错 的 选择 ， 因 为 通常 情况 下 它 会 比 map-reduce 快 。 

我 们 已 经 看 过 根据 用 户 对 评论 分 组 的 例子 了 ， 那 个 示例 只 能 算 “ 半 个 ”。 让 我 们 快速 回顾 一 
下 传递 给 group 的 选项 。 

口 key ,描述 分 组 字段 的 文档 。 举 例 来 说 ,要 根据 category_id 分 组 ,可 以 将 {category_id: 
truel} 作 为 键 。 此 处 还 可 以 使 用 复合 键 ， 比 如 ， 知 想 根 据 user_id 和 rating 对 一 系列 帖 
子 做 分 组 ， 键 看 起 来 是 这 样 的 : {user_id: true， rating: true}。 除 非 使 用 keyf， 
否则 xey 选 项 是 必需 的 。 

D keyf， 这 是 一 个 JavaScript 国 数 ， 应 用 于 文档 之 上 ， 为 该 文档 生成 一 个 键 ， 当 用 于 分 组 的 
键 需要 计算 时 ， 这 个 函数 非常 有 用 。 举 例 来 说 ， 如 果 想 根据 每 个 文档 创建 时 是 周 几 来 对 
结 采 集 进 行 分 组 ， 但 又 不 实际 存储 该 但 ， 束 可 以 用 键 兽 数 来 生成 这 个 键 : 


function(doc) ({ 


























return {day: doc.created at.getDay(); 
} 
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这 个 也 数 会 生成 类 似 {qay : 1} 这 样 的 键 。 请 注意 ， 如 果 没 有 指定 标准 的 key， 那 么 keyf 是 
必需 的 。 

口 initial, 作为 聚合 结果 初始 值 的 文档 。reduce 函 数 第 一 次 运行 时 ,该 初始 文档 会 作为 聚 
合 怖 的 第 一 个 值 ， 通 常会 包含 所 有 要 聚合 的 键 。 举 例 来 说 ， 如 果 正 在 为 每 个 分 组 项 计算 总 
投票 数 和 总 文档 数 ， 那 么 初始 文档 看 起 来 是 这 样 的 : {vote_sum: 0.0, doc_count: 0}。 

请 注意 ， 该 参数 是 必需 的 。 

D reduce， 用 于 执行 聚合 的 JavaScript 困 数 。 该 郴 数 接受 两 个 参数 : 正 被 迭代 的 当前 文档 和 
用 于 存储 聚合 结果 的 聚合 吉文 档 。 聚 合 需 的 初始 值 就 是 初始 文档 。 下 面 是 一 个 聚合 投票 
和 文档 总 数 的 reduce 函 数 示 例 : 


function(doc, aggregator) { 











aggregator.doc count += 1; 
aggregator.vote sum += doc.vote count,; 


} 

请 注意 ，requce 困 数 并 不 返回 任何 内 容 ， 它 只 不 过 是 修改 聚合 大 对 象 。redquce 困 数 也 是 必 

需 的 。 

口 condG， 过 滤 要 聚合 文档 的 查询 选择 占 。 如 打 不 硕 望 分 组 操作 处 理 整 个 集合 ， 就 必须 提供 
一 个 查询 选择 器 。 例 如 ,假设 只 想 聚 合 那 些 拥 有 五 个 以 上 投票 的 文档 ， 可 以 提供 以 下 查 
询 选 择 名 : {vote_count: {Sgt: 5}}。 

D finalize, 在 返回 结果 集 之 前 应 用 于 每 个 结果 文档 的 JavaScript 图 数 。 该 晒 数 文 持 对 分 组 
操作 的 结果 进行 后 置 处 理 。 我 们 通 稼 会 用 它 计 算 平 均值 ， 在 分 组 结果 的 现 有 值 之 外 ， 再 
加 为 一 个 值 来 保存 平均 值 : 


function(doc) { 











doc.average = doc.vote count / doc.doc count,; 


} 
诚然 ，group 有 这 么 多 选项 ， 上 手 比 较 麻 烦 。 但 是 ， 称 加 实践 之 后 ， 你 会 很 快 习 惯 的 。 


5.4.4 map-reduce 


既然 group 和 map-reduce 提 供 了 类 似 的 功能 , 你 可 能 会 想 MongoDB 为 什么 要 同时 对 它们 提 
供 文 持 呢 ? 其 实 ， 在 添加 map-redquce 之 前 ，group 是 MongoDB 唯 一 的 聚合 六 ，map-reqaquce 是 
后 来 出 于 一 些 原因 加 入 的 。 首 先 ，MapReduce 风 格 的 操作 正在 成 为 主流 ， 而 且 将 这 种 思考 方式 融 
入 产品 之 中 看 起 来 是 很 明智 的 。 "其 次 ， 也 是 更 实际 的 原因 : 对 大 数据 集 进 行 迭代 ， 尤 其 是 在 分 
片 配 置 中 ， 需 要 有 分 布 式 的 聚合 器 ， 而 MapReduce (范式 ) 恰恰 提供 所 需 的 内 容 。 

mabp-tzeduce 包 含 很 多 选项 。 此 处 详细 对 这 些 选 项 做 了 说 明 。 














GD 很 多 开发 者 是 在 谷歌 那 篇 著名 的 关于 分 布 式 计算 的 论文 ( http://labs.google.com/papers/mapreduce.html ) 里 初次 看 
到 MapReduce 的 。 其 中 的 思想 后 来 成 了 Hadoop 的 基础 ， 而 Hadoop 是 一 个 使 用 分 布 式 MapReduce 处 理 大 数据 集 的 开 
源 框 巢 。 之 后 MapReduce 的 思想 得 到 了 广泛 传播 ， 例 如 CouchDB 就 用 MapReduce 的 范式 来 声明 索引 。 
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UD map, 应 用 于 每 个 文档 之 上 的 JavaScript 旺 数 。 该 国 数 必须 调用 smit () 来 选择 要 聚合 的 键 
和 值 。 在 图 数 上 下 文中 ，this 的 值 指 回 当前 文档 。 例 如 ， 假 设想 根据 用 户 ID 对 结果 分 组 ， 
计算 出 总 投票 数 和 总 文档 数 ， 映 射 函 数 应 该 是 这 样 的 : 


function() { 
emit (this.user id, {vote sum: this.vote count, doc sum: 1}); 


} 

口 reduce, 一 个 JavaScript 也 数 ， 接 受 一 个 键 和 一 个 值 列表 。 该 函数 对 返回 值 的 结构 有 严格 
要 求 ,必须 总 是 与 value s 数 组 所 提供 的 结构 一 致 .redquce 国 数 通 常会 欠 代 一 个 值 的 列表 ， 
在 此 过 程 中 对 其 进行 察 合 。 回 到 我 们 的 示例 ， 以 下 展示 如 何 处 理 映 冉 函数 输出 的 内 容 : 

function (key, values) { 


Var Vvote sum = 0; 
Var doc_ Sum 0 ; 





values.forEach (function(value) { 


二 了 Pi 二 CTTmn 二 一 7 二 111 和 ~ xt 个 十 和 ~ CT 。 
VUULTC OUlll To— VAALTLUCe VOLT 己 LILLL7 


doc sum += Vvalue.doc sum; 


人 


return {vote sum: vote sum, doc sum: doc sum}; 
} 
请 注意 ， 通 负 在 聚合 过 程 中 不 会 用 到 key 人 参数 的 值 。 

D sauery， 用 于 过 滤 上 映射 处 理 的 集合 的 查询 选择 希 。 该 参数 的 作用 与 gsroup 的 conq 参 数 

相同 。 

口 sort ， 对 于 查询 的 排序 。 与 1imit 选 项 搭配 使 用 时 非常 有 用 ， 这 样 就 可 以 对 1000 个 最 近 

创建 的 文档 运行 map-requce。 

D limit， 一 个 整数 ， 指 定 了 查询 和 排序 的 条 数 。 

口 out ,该 参数 决定 了 如 何 返 回 输出 内 容 。 要 将 所 有 输出 作为 命令 本 号 的 结果 ,传人 {inline: 

1}。 请 注意 ， 这 仪 适 用 于 结果 集 符 合 16 MB 返回 限制 的 情况 。 

为 一 个 选择 是 将 结果 放 到 一 个 输出 集合 里 。 此 时 ，out 的 值 必须 是 一 个 字符 串 ， 标 明 用 于 保 
存 结 采 的 集合 的 名 称 。 

将 结果 保存 到 输出 集合 时 有 一 个 问题 ， 如 果 最 近 运 行 过 类 似 的 map-reduce， 那 么 可 能 会 窗 
盖 现 有 数据 。 因 此 ， 还 有 两 个 集合 输出 选项 : 一 个 用 于 合并 结果 和 老 数 据 ， 为 一 个 对 数据 进行 
reduce 处 理 。 在 合并 的 场景 中 ,使 用 {merge: "collectionName"}， 新 结果 会 禾 盖 拥有 相同 
键 的 现 有 项 。 如 果 使 用 {reduce: ool lecticonName"}, 会 调用 requce 国 数 根据 新 值 来 处 理 
现 有 键 的 值 。 尤 其 是 在 执行 要 反复 运行 的 MapReduce 任 务 时 ， 硕 望 把 新 数据 整合 到 已 有 的 聚合 之 
中 ，reduce 格 处 有用。 在 对 集合 执行 新 的 MapReduce 任 务 时 ， 只 需 简 单 添加 一 个 查询 选择 器 来 
限制 聚合 所 需 的 数据 集 。 

D finalize， 一 个 JavaScript 了 因数， 在 reduce 阶 段 完成 后 会 应 用 于 每 个 返回 的 文档 上 。 

口 scope， 该 文档 指定 了 mapb 、tredquce 和 finalize 困 数 可 全 局 访问 的 变量 的 值 。 

D verbose, 一 个 布尔 值 ， 为 true 时 ， 在 命令 返回 文档 中 会 包含 对 map-reduce 任 务 执行 

时 间 的 统计 信息 。 
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在 考虑 使 用 MongoDB 的 map-redquce 和 group 时 ， 还 有 一 个 重要 的 限制 需要 引起 注意 : 速 
度 。 对 于 大 的 数据 集 ， 这 些 聚 合 冰 数 通 稼 执行 起 来 满足 不 了 用 户 对 速度 的 需求 。 这 几乎 都 要 归 
符 于 MongoDB 的 JavaScript3| 擎 。 一 个 单线 程 解释 ( 非 编 幸 ) 运行 的 JavaScript 引 | 擎 是 很 难 实现 高 
性 能 的 。 

但 也 不 要 诅 形 , map-reduce 和 group 被 广泛 使 用 于 很 多 场景 之 中 , 并 能 充分 胜任 这 些 任 务 。 
对 于 那些 还 不 适用 的 场景 , 则 有 其 他 方案 , 并 有 望 在 未 来 提供 支持 。 其 他 方案 是 指 在 别处 执行 肾 
合 , 拥有 大 数据 集 的 用 户 已 经 在 Hadoop 集 群 上 成 功 处 理 过 数据 。 未 来 有 望 加 入 新 的 肾 合 也 数 , 它 
们 使 用 编译 的 多 线程 代码 。 这 些 功能 计划 于 MongoDB v2.0 之 后 的 某 个 时 间 发 布 ， 你 可 以 关注 
https://Jira.mongodb.org/browse/SERVER-447。 


























5.5 小结 


查询 与 聚合 是 MongoDB 接 口中 的 重要 部 分 。 因 此 在 阅读 了 本 章 的 内 容 之 后 ， 强 烈 建 议 你 试 
用 查询 与 聚合 机 制 。 如 果 不 确定 如 何 利 用 查询 操作 的 某 些 特定 组 合 ，Shell 总 是 测试 的 最 佳 场所 。 

从 现在 起 我 们 会 一 直 使 用 MongoDB 查 询 ， 下 一 章 里 就 是 如 此 。 下 一 章 中 我 们 会 进行 文档 更 
新 ， 因 为 查询 在 大 多 数 更 新 中 都 起 关键 作用 ， 所 以 你 会 对 本 章 所 介绍 的 查询 语言 有 更 多 了 解 。 
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本 章 内 容 

口 更 新 文档 

口 原子 性 地 处 理 文档 
口 分 类 层级 与 库存 管理 





更 新 就 是 向 现 有 文档 写 入 新 的 内 容 , 想 要 高 效 地 进行 更 新 操作 ,需要 彻底 了 解 各 种 可 用 的 文 
档 结构 类 型 和 MongoDB 提 供 的 查询 表达 式 。 通 过 上 两 草 了 解 了 电子 商务 数据 模型 之 后 ， 你 应 该 
对 Schema 的 设计 和 查询 方式 有 所 感悟 了 。 在 学 习 更 新 时 ， 这 些 知识 都 能 派 上 用 场 。 

我 们 会 深入 探讨 为 什么 采用 这 样 一 种 去 正规 化 的 方式 来 建 模 分 类 层级 ， 以 及 MongoDB 的 更 新 
操作 是 如 何 让 这 种 结构 变 得 合理 的 。 我 们 还 会 探讨 库存 管理 ,在 此 过 程 中 解决 一 些 国手 的 并 发 问题 。 
你 将 认识 很 多 新 的 更 新 操作 符 , 了 解 一 些 能 充分 利用 更 新 操作 原子 性 的 技巧 ,体会 fingaAngModi fy 
命令 的 强大 之 处 。 在 众多 示例 之 后 , 会 有 一 方 专门 描述 各 个 更 新 操作 符 的 细 广 。 我 还 会 介绍 一 些 与 
并 发 和 优化 相关 的 注 靶 事项 ， 最 后 简明 扼 要 地 概述 一 下 MongoDB 中 如 何 删 除数 据 。 

到 本 章 结束 时 ， 你 将 认识 MongoDB 的 全 部 CRUD 操 作 ， 能 顺利 地 设计 应 用 程序 ， 充 分 利用 
MongoDB 的 接口 与 数据 模型 了 。 


6.1 文档 更 新 入 | 


如 果 需 要 在 MongoDB 中 更 新 文档 ， 有 两 种 方式 ， 既 可 以 整个 瞧 换 文档 ， 也 可 以 结合 一 些 更 
新 操作 符 修 改 文 档 中 的 特定 字段 。 为 了 符 更 详细 的 例子 做 些 铺垫 ,本章 会 从 一 个 简单 的 演示 开始 ， 
示范 这 两 种 做 法 。 随 后 ， 我 会 解释 哪 种 方式 更 好 。 

先 让 我 们 回忆 一 下 用 户 示 例文 档 。 该 文档 包含 用 户 的 姓名 、 电 子 邮件 地 址 和 送 仙 地 址 。 电 无 
疑问 ， 我们 时 不 时 会 修改 一 下 电子 邮件 地 址 ， 因 此 束 从 它 开始 吧 。 要 完整 棕 换 文档 ， 先 查询 该 文 
档 ， 随 后 在 客户 问 进 行 修改 ， 最 后 用 修改 后 的 文档 发 起 更 新 。 以 下 是 对 应 的 Ruby 代 码 : 



































user_id = BSON: :ObjectIid("4c4b1476238d3b4dd5000001") 
doc = Qusers.find one({:_id => user id}) 
doc['email'] = 'mongodb-user@l10gen.com' 


Qusers.update({:_iqd => user id}, doc, :safe => true) 
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有 了 用 户 的 _id， 可 以 先 查 询 文 档 。 接 下 来 在 本 地 进行 修改 ， 这 里 是 修改 emai1 属 性 。 随 后 
将 修改 过 的 文档 传 给 update 方 法 。 最 后 一 行 的 意思 是 “找到 users 集 合 中 指定 _iad 的 文档 ,用 我 
提供 的 文档 替换 它 ”。 

以 上 展示 了 如 何 通 过 特 换 进行 修改 ， 现 在 让 我 们 看 看 如 何 通过 操作 符 进 行 修改 : 


Qusers.update({:_id => user 1id}, 














{'Sset' => {:email => 'mongodb-user@1l0gen.com'}}, 
:Safe => true) 


本 例 中 使 用 sset 在 一 个 服务 如 请 求 里 修改 了 电子 邮件 地 址 ， 这 是 多 个 特殊 更 新 操作 符 中 的 
一 个 。 这 里 的 更 新 请 求 更 有 人 针对 性 : 找到 指定 用 户 文 档 ， 将 其 email 字 段 设 置 为 
mongodb-user@10gen.como 

其 他 示例 又 会 如 何 ?” 这 次 , 我 们 向 用 户 的 地 址 列表 中 添加 其 他 送 货 地 址 ,下 面 展 示 如 何 通 过 
文档 替换 实现 该 操作 : 





doc = @users.find one({:_1id => user id}) 
new_address = { 

:name > woOrk. 

:street => "17 W. 1l8th St.", 

:City => "New York", 

“StEate => "NY™, 

Se = 0 | 
} 
doc['shipping addresses'] .append (new_address) 


Gusers.updatel({: 1d => user_ id}, doc) 
更 有 和 针对 性 的 做 法 是 这 样 的 : 
Qusers.update({:_id => user 1id}, 
人 


{:name => "work", 
-etFEeet => "Ly W loth cot", 


ETty => "New York", 
“et te = NY 
:Zip 3 L0011 


} 
】 
}) 


蔡 换 的 方法 与 之 前 类 似 ， 从 服务 各 获取 用 户 文 档 ， 进 行 修 改 ， 随 后 发 回 服务 疾 。 此 处 的 更 新 
语句 和 更 新 电子 邮件 地 址 时 的 一 样 。 相 比 之 下 ， 针 对 性 更 新 里 使 用 了 不 同 的 操作 符 spush， 将 新 
地 址 推送 到 现 有 的 shipping_addresses 数 组 里 。 

既然 已 经 看 过 了 几 个 实际 的 更 新 ,请 思考 一 下 ,已 经 有 了 一 种 方法 后 为 什么 还 要 用 男 一 种 
呢 ?” 你 觉得 哪 种 方式 更 直观 ， 哪 种 方式 的 性 能 会 更 好 ? 

蔡 换 更 新 是 种 更 通用 的 方式 。 假设 应 用 程序 显示 了 一 个 用 于 更 新 用 户 信息 的 HTML 表 单 ,使 
用 替换 更 新 时 ， 从 表单 提交 的 数据 一 经 校 验 就 能 直接 传人 MongoDB; 无 论 修 改 了 哪个 用 户 属 性 ， 
执行 更 新 的 代码 都 是 一 样 的。 举例 来 说 ， 如 果 你 打算 构建 一 个 MongoDB 对 象 映射 器 ， 需 要 通用 
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的 更 新 ， 那 么 替换 更 新 可 能 更 适合 作为 默认 值 。” 

针对 性 更 新 通常 性 能 会 更 好 。 首 先 ， 不 需要 在 开始 时 到 服务 右上 获取 要 修改 的 文档 。 其 次 ， 
指定 更 新 内 容 的 文档 一 般 都 很 小 。 如 果 是 通过 替换 进行 更 新 , 文档 的 平均 大 小 是 100 KB, 那么 每 
次 更 新 都 要 向 服务 器 发 送 100KB 内 容 ! 相 比 之 下 ， 上 个 例子 里 , 无 论 要 修改 的 文档 有 多 大 ， 每 个 
使 用 $Sset 和 spush 来 指定 更 新 的 文档 都 小 于 100 字 节 。 为 此 ， 经 常 使 用 针对 性 更 新 就 意味 着 节省 
序列 化 和 传输 数据 的 时 间 。 

此 外 ， 针 对 性 操作 人 允许 原子 性 地 更 新 文档 。 举 例 来 说 ， 如 果 需 要 增加 计数 器 值 ， 通 过 替换 进 
行 更 新 就 很 不 理想 ;唯一 能 对 它们 进行 原子 性 更 新 的 方法 就 是 采用 某 类 乐观 锁 。 在 针对 性 更 新 中 ， 
可 以 使 用 sinc 原 子 性 地 修改 计数 姻 。 也 就 是 说 ， 就 算 有 大 量 的 并 发 更 新 ， 每 次 执行 $inc 都 是 相 
互 隔离 的 ， 要 么 成 功 ， 要么 失败 。” 














乐观 锁 
乐观 锁 即 乐观 并 发 控制 , 这 项 技术 保证 在 无 需 锁 定 记录 的 情况 下 对 其 进行 彻底 更 新 。 要 理 
解 它 ， 最 简单 的 方法 是 想象 一 个 wiki， 有 多 个 用 户 可 以 同时 编辑 一 个 wiki 页 面 ， 但 你 肯定 不 项 
望 用 户 编 辑 并 更 新 一 个 过 期 的 页 面 , 这 时 可 以 使 用 乐观 锁 协 议 。 当 用 户 试图 保存 他 们 的 变更 时 ， 
会 在 更 新 操作 中 包含 一 个 时 间 玲 ,如 果 该 值 比 这 个 页 面 最 近 保 存 的 版 本 旧 , 那么 不 能 让 用 户 进 
行 更 新 ; 但 如 果 没 人 修改 过 这 个 页 面 ， 则 允许 更 新 。 该 策略 允许 多 个 用 户 同 时 编辑 一 个 页 面 ， 
比 另 一 种 要 求 每 个 用 户 在 编辑 任意 页 面 时 获得 一 个 锁 的 并 发 策略 要 好 很 多 。 





知道 了 可 用 的 更 新 种 类 之 后 ， 你 就 能 理解 下 一 节 里 我 将 介绍 的 策略 了 。 下 一 中 ,我们 会 回 
到 电子 商务 数据 梗 型， 回答 一 些 与 在 生产 环境 中 操作 数据 相关 的 、 更 困难 的 问题 。 
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在 股票 的 例子 里 更 新 MongoDB 文 档 中 的 这 个 或 那个 属性 是 很 容易 的 。 但 生产 环境 中 的 数据 
模型 和 真实 的 应 用 程序 中 ,会 出 现 不 少 困 难 ， 对 指定 属性 的 更 新 可 能 不 再 是 简单 的 一 行 语句 。 
在 后 续 的 内 容 里 ， 我 会 使 用 上 两 章 里 出 现 的 电子 商务 数据 模型 作为 示例 ， 演 示 在 生产 环境 中 的 
电子 商务 网 站 里 可 能 看 到 的 更 新 。 其 中 某 些 更 新 很 直观 ， 而 男 一 些 则 不 那么 百 观 。 但 总 的 来 说 ， 
我 们 会 对 第 4 章 中 设计 的 Schema 有 更 深入 的 认识 ， 对 MongoDB 更 新 语言 的 特性 和 限制 有 更 进 一 
步 的 理解 。 























Q) 大 多 数 MongoDB 对 和 象 映射 器 都 采用 这 种 策略 ,原因 也 很 简单 。 如 果 用 户 可 以 建 模 任意 复杂 度 的 实体 , 那么 发 起 替 
换 更 新 比 计算 特殊 更 新 操作 人 符 的 理想 组 合 要 方便 得 多 。 

(2 MongoDB 文 档 中 使 用 原子 更 新 ( atomic update ) 这 个 词 来 表示 我 所 说 的 针对 性 更 新 ( targeted update )。 这 个 新 术 
语意 在 突出 原子 这 个 词 。 实 际 上 ， 所 有 发 往 核 心服 务 需 的 更 新 都 是 原子 性 的 ， 以 文档 为 单位 进行 隔离 。 说 更 新 操 
作 符 是 原子 性 的 是 因为 它们 能 在 不 用 先 查 询 的 情况 下 更 新 文档 。 
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6.2.1 产品 与 分 类 


本 蔬 你 将 看 到 一 些 实 际 的 针对 性 更 新 的 例子 , 首先 了 解 如 何 计算 产品 平均 评分 ,随后 是 更 复 
杂 的 维护 分 类 层级 的 任务 。 

1. 产品 平均 评分 

产品 可 以 运用 很 多 更 新 策略 。 假 设 管理 员 有 一 个 界面 可 用 于 编辑 产品 信息 ， 了 最 简单 的 更 新 
涉及 获取 当前 产品 文档 ， 将 其 与 用 户 编 辑 的 文档 进行 合并 ， 执行 一 次 文档 督 换 。 有 时 候 ， 可 能 
只 和 需 更 新 几 个 值 ， 显 然 这 时 针对 性 更 新 是 更 好 的 选择 。 计 算 产 品 平均 评分 就 是 这 种 情况 。 因 为 
用 户 会 基于 平均 评分 对 产品 列表 排序 ， 可 以 将 该 评分 保存 在 产品 文档 中 ， 在 沃 加 或 删除 评论 时 
进行 更 新 。 

执行 此 类 更 新 的 方式 很 多 ， 下 面 就 是 其 中 之 一 : 
































average = 0.0 

Count = 0 

total = 0 

CUrSor = @Qreviews.find({:product id => product id}, :fields => ["rating"]) 
while cursor.has next? && review = Cursor.next() 


total += reviewl[ 'rating'l] 
Count += 1 
end 


average = total / count 


@Qproducts.update({:_id => BSON: :ObjectId("4c4b1476238d3b4dd5003981")}， 
{'Sset' => {:total reviews => count, :average review => average}}) 


这 上段 代码 聚合 并 处 理 了 每 条 产品 评论 中 的 rat ing 字 段 ， 然 后 计算 了 平均 值 。 实 际 上 ， 我 们 
迭代 了 每 个 评分 , 信 此 计算 产品 的 总 评分 ， 这 市 省 了 一 次 额外 的 count 孙 数 调 用 。 有 了 评论 的 总 
条 数 和 平均 评分 之 后 ， 在 代码 中 使 用 sset 执 行 一 次 针对 性 更 新 。 

天 注 性 能 的 用 户 可 能 会 尽量 避免 每 次 更 新 时 重新 聚合 所 有 产品 评论 这 种 做 法 。 此 处 提供 的 方 
法 虽然 保守 ,但 在 大 多 数 情况 下 还 是 可 以 接受 的 。 也 会 有 其 他 宁 上 略 ， 举例 来 说 ， 可 以 在 产品 文档 
中 保存 额外 的 字段 来 缓存 评论 的 总 评分 。 在 插入 一 条 新 评论 后 ,查询 产品 以 获得 当前 评论 总 数 和 
总 评分 ， 随 后 计算 平均 值 ， 用 如 下 选择 大 发 起 一 次 更 新 : 


{'Sset' => {:average review => average, :ratings total => total}, 
'Sinc' => {:total reviews => 1}}) 


只 有 使 用 典型 数据 对 系统 进行 评测 之 后 才能 确定 哪 种 方式 更 好 。 但 这 个 例子 恰恰 说 明了 
MongoDB 通 稼 提供 多 种 可 选 方法 ， 应 用 程序 的 需求 可 用 于 帮助 确定 哪 种 方法 是 最 好 的 。 

2. 分 类 层级 

在 很 多 数据 库 中 都 没有 简单 的 方法 来 表示 分 类 层级 ， 虽 然 文档 结构 对 此 有 上 所 帮助 ， 但 
MongoDB 里 的 情况 也 差不多 。 文 档 可 以 针对 谈 取 进行 优化 ， 因 为 每 个 分 类 都 能 包含 其 祖先 的 列 
表 。 唯 一 及 烦 的 要 求 是 始终 保持 最 新 的 祖先 列表 。 让 我 们 来 看 一 个 例子 。 

首先 需 要 一 个 通用 的 方法 更 新 任意 给 定 分 类 的 祖先 列表 。 下 面 是 一 个 可 行 方案 : 
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def generate ancestors(_id, parent _ id) 


ancestor list = [|] 
while parent = Qcategories.find one(:_id => parent id) do 


ancestor_ list.unshift (parent) 
parent id = parent['parent id'l] 
end 
Qcategories.update({:_id => _id}, 
{"Sset" {:ancestors => ancestor list}}) 
end 
该 方法 回溯 了 分 类 层级 ， 连 续 查 询 每 个 记 点 的 parent_id 属 性 ， 直 到 根 节 点 (parent_idq 
是 ni1 的 节点 ) 为 止 。 总 之 ,， 它 构建 了 一 个 有 序 的 祖先 列表 ,保存 在 ancestor_1ist 数 组 里 。 最 


后 ， 使 用 sset 更 新 分 类 的 ancestors 属 性 。 
既然 已 经 有 了 基本 的 构建 模块 , 那 就 让 我 们 来 看 看 插入 新 分 类 的 过 程 吧 。 假 设 有 一 个 简单 的 
分 类 层级 ， 如 图 6-1 所 示 。 















Seedlings 


图 6-1 初始 的 分 类 层级 









Lawn care 


假设 想 在 Home 分 类 下 添加 一 个 名 为 Gardening 的 新 分 类 ， 插入 新 分 类 文档 后 运行 方法 来 生成 


它 的 祖先 列表 : 
Category = { 
:parent id => parent 1d， 
:Slug => "gardening", 


:name => "Gardening", 
:description => "All gardening implements, tools, seeds, and soil." 


} 


gardening_ id = Qcategories.insert (category) 
generate ancestors (gardening_ id, parent_ id) 


图 6-2 显 示 了 更 新 后 的 树 。 
这 太 人 简单 了 。 但 如 有 果 现 在 想 把 Outdoors 分 类 放 在 Gardening 下 面 又 会 怎么 样 呢 ? 这 就 有 点 复杂 


了 ， 因 为 要 修改 很 多 分 类 的 祖先 列表 。 可 以 从 把 Outdoors 的 parent_ig 修 改 为 Gardening 的 _ia 开 
始 做 起 ， 这 还 不 是 很 困难 : 


Qcategories.update({:_1id => outdoors id}, 
{'Sset' => {:parent _ id => gardening id}}) 
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区 区 2 
区 区 


图 6-2 ”添加 Gardening 分 类 
为 移动 了 Outdoors 分 类 ， 所 以 其 所 有 后 代 的 祖先 列表 都 无 效 了 。 可 以 查询 所 有 祖先 列表 里 
有 Outdoors 的 分 类 ， 随 后 重新 生成 它们 的 祖先 列表 。MongoDB 可 深入 数组 进行 查询 ， 因 而 能 轻 而 
易 举 地 完成 这 项 工作 : 


deategories. find(('ancestors. id" =>» outdoors 1 站 | Eee 人 | 





Seedlings 


下 











generate ancestors(category['_id'], outdoors igd) 
end 


这 就 是 一 个 处 理 分 类 parent_igd 属 性 的 更 新 的 方法 ， 图 6-3 显 示 了 变更 后 的 分 类 排列 方式 。 










区 
Co 


图 6-3 ”最终 状态 的 分 类 村 


要 是 想 要 修改 分 类 名 称 又 会 怎么 样 呢 ? 如 果 将 Outdoors 分 类 的 名 称 改 为 The Great Outdoors ， 
那么 还 必须 修改 其 他 祖先 列表 中 出 现 Outdoors 的 分 类 。 这 时 你 会 想 “ 看 到 没 ” 这 种 情况 下 去 正规 
化 就 肪 烦 了 ”。 但 了 解 到 不 用 重新 计算 祖先 列表 就 能 执行 这 个 更 新 后 ， 你 应 该 会 感觉 好 多 了 。 方 

















法 如 下 : 
doc = @Qcategories.find one({: 1Q => outdoors id}) 
doc['name'] = "The Great Outdoors" 


Qcategories.update({:_id => outdoors id}, doc) 
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Qcategories.update({'ancestors.id' => outdoors id)}, 
{'Sset' => {'ancestors.S'=> doc}}, :multi => true) 


我 们 先 取 得 了 Outdoors 文 档 , 在 本 地 修改 它 的 name 属 性 ， 随 后 通过 替换 进行 更 新 ， 最 后 再 用 
修改 后 的 Outdoors 文 档 来 蔡 换 多 个 祖先 列表 中 的 旧 文 档 。 我 们 通过 位 置 操 作 符 和 多 项 更 新 实现 了 
这 个 操作 。 多 项 更 新 很 容易 理解 ; 回忆 一 下 ， 如 果 硕 望 修 改 能 作用 于 所 有 选择 需 匹 配 到 的 文档 ， 
需要 指定 :multi => true。 此 处 ， 我 们 想 更 新 所 有 祖先 列 表 中 有 Outdoors 的 分 类 。 

位 置 操 作 符 更 巧妙 一 些 。 假 设 无 从 获知 Outdoors 分 类 会 出 现在 给 定 分 类 祖先 列表 中 的 什么 
地 方 ， 此 时 就 需要 更 新 操作 符 针对 任意 文档 动态 定位 Outdoors 分 类 在 数组 中 的 位 置 。 说 到 位 置 
操作 符 ， 即 ancestors.s$ 中 的 $S， 人 代替 了 查询 选择 需 匹 配 到 的 数组 下 标 ， 这 才 使 这 个 更 新 操作 
成 为 可 能 。 

因为 需要 更 新 数组 中 单独 的 子 文 档 ， 总 是 会 用 到 位 置 操 作 符 。 总 的 来 说 ,在 要 处 理子 文档 数 
组 时 ， 这 些 更 新 分 类 层级 的 技术 都 能 适用 。 




















6.2.2 评论 


评论 并 不 是 完全 “平等 ”的 ,这 就 是 应 用 程序 会 允许 用 户 对 评论 进行 投票 的 原因 。 投 票 很 简 
单 ,它们 指出 了 哪些 评论 是 有 用 的 。 我 们 已 经 对 评论 做 了 建 模 ， 其 中 能 绥 存 总 投票 数 以 及 投票 者 
ID 的 列表 。 评 论文 档 中 相关 的 部 分 看 起 来 是 这 样 的 : 
{helpful votes: 3, 
voter ids: [ ObjectId("4c4b1476238d3b4dd5000041")， 
ObjectId("7a4f0376238d3b4dd5000003")， 


ObjectId("92c21476238d3b4dd50000327") 
Ie 


可 以 通过 针对 性 更 新 来 记录 用 户 投票 。 使 用 spush 操 作 符 将 投票 痢 的 ID 涤 加 到 列表 里 ,使 用 
Sinc 操 作 符 来 增加 总 投票 效 ， 这 两 个 操作 都 在 同一 个 更 新 操作 里 : 


db.reviews.update({_id: ObjectId("4c4pb1476238dq3PpP4aQq50000417) }， 


{spush: {voter_ ids: ObjectId("4c4b1476238d3b4dd5000001")})， 
Sinc: {helpful votes: 1} 


}) 
大 多 数 情 况 下 这 个 更 新 没有 问题 , 但 我 们 需要 确保 仅 当 正在 投票 的 用 户 疝 未 对 该 评论 投 过 票 
时 才能 进行 更 新 。 因 此 要 修改 此 处 的 查询 选择 需 ， 只 匹配 xoter_ids 数 组 中 不 包含 要 添加 的 ID 
的 情况 。 使 用 $ne 查 询 操 作 符 就 能 轻松 实现 了 
Gquery_selector = {_1id: ObjectId("4c4b1476238d3b4dd5000041")， 
voter ids: {Sne: ObjectId("4c4b1476238d3b4dd5000001")}} 
db.reviews .update (query_selector., 
{Spush: {voter ids: ObjectId("4c4b1476238d3b4dd5000001")}， 
Sinc : {helpful votes: 1} 
}) 


这 是 一 个 很 强大 的 示例 , 演示 了 MongoDB 的 更 新 机 制 以 及 如 何 将 其 用 于 面 癌 文 档 的 Schema。 
本 例 中 的 投票 既是 原子 操作 ， 又 有 很 高 的 效率 。 原 子 性 保证 了 即使 在 高 并 发 环境 下 ,， 也 没 人 能 投 
两 次 时。 高 效 是 因为 对 投票 者 身份 的 判断 、 更 新 计数 硕 和 投票 者 列表 的 操作 都 是 在 同一 个 服务 天 
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请 求 内 完成 的 。 
现在 , 如果 最 终 确 定 使 用 该 技术 来 保存 投票 信息 , 请 务必 保证 其 他 对 评论 文档 的 更 新 都 是 针 
对 性 更 新 ， 因 为 替换 更 新 的 方式 一 定 会 导致 不 一 致 性 。 想 象 一 下 ,假设 用 户 通过 替换 更 新 来 修改 
评论 的 内 容 ， 先 要 查询 希望 修改 的 文档 , 在 查询 评论 和 更 新 之 间 ， 另 一 个 用 户 很 有 可 能 在 为 该 评 
论 投票 。 网 6-4 中 就 描述 了 这 个 事件 序列 。 
评论 文档 

















进程 1 在 T1 时 
刻 碍 询 评论 





图 6-4 ”通过 针对 性 更 新 和 替换 更 新 并 发 地 修改 评论 时 会 丢失 数据 


很 明显 ，T3 时 刻 的 文档 瞧 换 会 窗 畜 T2 时 刻 发 生 的 投票 更 新 。 使 用 之 前 描述 的 乐观 锁 技 术 是 
可 以 避免 这 种 情况 的 ,但 确保 本 例 中 所 有 的 更 新 部 是 针对 性 更 新 似乎 更 容易 一 些 。 








6.2.3 订单 


在 评论 中 看 到 的 更 新 操作 的 原子 性 和 高 效 性 也 能 被 运用 在 订单 上 。 接 下 来 ， 我 们 会 看 到 如 何 
使 用 针对 性 更 新 实现 “添加 到 购物 车 ”功能 (Addto Cart )。 这 个 过 程 有 两 步 : 第 一 步 ， 构 建 一 个 
产品 文档 ， 用 来 保存 订单 条 日数 组; 第 二 步 ， 发 起 一 次 针对 性 更 新 ， 标 明 这 是 一 次 upsert 一 一 如 
末 要 更 新 的 文档 不 存在 则 插入 一 个 新 文档 的 更 新 操作 。( 在 下 一 节 里 我 会 详细 描述 upsert 的 。) 如 采 
订单 对 象 不 存在 ， 该 操作 会 创建 一 个 新 的 订单 对 象 ,无 颖 地 处 理 初 始 化 以 及 后 续 “ 添 加 到 购物 车 ” 
的 动作 。 

我 们 先 构建 一 个 要 添加 到 购物 车 中 的 示例 文档 : 


arteitemn = 
_id: ObjectId("4c4b1476238d3b4dd5003981")， 
slug: "wheel-barrow-9092", 
Skia- 9092 














name: "Extra Large Wheel Barrow", 








中 我 交换 使 用 购物 车 和 订单 这 两 个 词 ， 因 为 它们 都 是 使 用 同一 个 文档 来 表示 的 。 两 者 仪 在 文档 的 state 字 段 上 有 所 
不 同 (文档 状态 是 CART 的 表示 购物 车 )。 
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Pricing: { 
retail: 589700, 
sale: 489700 


} 
构建 该 文档 时 ， 很 可 能 就 是 查询 prodqucts 集 合 ， 随 后 抽取 出 需要 保存 为 订单 条 目的 字段 。 
产品 中 的 _ia、 sku、 slug、 name 和 price 字 有 段 应 该 就 够 了 ”。 有 了 购物 车 明细 文档 ， 就 可 以 把 














它 upsert 进 订单 集合 了 : 
selector = {user id: ObjectId("4c4b1476238d3b4dd5000001")， 
state: “CART 


ne items.id': 
{'Sne': ObjectId("4c4b1476238d3b4dd5003981")】} 
} 


update = {'Spush': {'line items': cart item}} 


db.orders.update(selector, update, true, false) 

为 了 让 代码 更 清晰 一 点 , 我 分 别 构造 了 查询 选择 融和 更 新 文档 。 更 新 文档 将 购物 车 明细 文档 窒 
进 订单 条 目 数组 里 。 查 询 选 择 器 中 指出 仅 在 数组 中 不 存在 特定 订单 条 目 时 ， 更 新 才 会 成 功 。 当 然 ， 
用 户 第 一 次 执行 “添加 到 购物 车 ”功能 时 , 根本 就 没有 购物 车 。 这 就 是 此 处 使 用 upsert 的 原因 。upsert 
会 根据 查询 选择 器 和 更 新 文档 里 的 键 和 值 构建 文档 。 因 此 ， 初 始 的 upsert 会 产生 如 下 订单 文档 : 

user_id: ObjectId("4c4b1476238d3b4dd5000001")， 

state: 人 AR 下 

line items: [tf 

_id: ObjectId("4c4b1476238d3b4dd5003981")， 


slug: "wheel-barrow-9092", 
SKU 9092.s 





name: "Extra Large Wheel Barrow", 


Pricing: f{ 
retail: 589700, 
sale: 489700 
} 
}] 
} 


随后 需要 再 发 起 一 次 针对 性 更 新 ， 确 保 明 细 数 量 和 订单 小 计 的 正确 性 : 
selector = {user id: ObjectId("4c4b1476238d3b4dd5000001")， 


state: "CART™. 
'Jine items.1d': ObjectId("4c4b1476238d3b4dd5003981")} 


update = {Sinc: 
{'line items.S.gqty': 1, 
sub total: cart item['pricing']['sale'] 
} 
} 


db.orders.update(selector, update) 


J 在 实际 的 电子 商务 应 用 程序 中 ， 会 需要 在 结账 时 验证 一 下 价格 是 否 发 生变 化 。 
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请 注意 ， 这 里 使 用 了 $inc 操 作 符 来 更 新 订单 小 计 和 单独 条 目的 数量 。 第 二 条 更 新 使 用 了 上 
一 方 介绍 的 位 置 操 作 符 ($ ), 方便 了 不 少 。 需 要 第 二 条 更 新 的 主要 原因 是 要 处 理 用 户 单 击 添加 到 
购物 车 的 东西 已 经 存在 于 购物 车 中 的 情况 。 针 对 这 种 情况 ,第 一 条 更 新 不 会 成 功 , 但 仍然 需要 调 
整数 量 和 小 计 。 因 此 ,在 两 次 单 击 手推车 的 “添加 到 购物 车 ”功能 按钮 后 ， 购 物 车 看 起 来 应 该 是 
这 样 的 : 
{ 
'user_id': ObjectId("4c4b1476238d3b4dd5000001")， 
'state' :OAR 
"Tne 1temes"e [1 
_id: ObjectId("4c4b1476238d3b4dd5003981")， 
gt 


slug: "wheel-barrow-9092", 
Sk "9092", 











name: "Extra Large Wheel Barrow", 
PELCLNOL | 


retail: 589700, 
sale: 489700 
} 
yal 


subtotal: 979400 
上 


现在 购物 车 里 有 两 部 手推车 了 ， 小 计 上 也 有 所 体现 。 

还 需要 更 多 操作 才能 完整 实现 一 个 购物 车 , 其 中 大 多 数 部 能 通过 一 个 或 者 多 个 针对 性 更 新 来 
实现 , 例如 从 购物 车 中 删除 一 项 , 或 者 清空 购物 车 。 如 琳 这 还 不 明显 , 接 下 来 的 小 市 中 会 描述 每 
个 碍 询 操作 符 ,， 应 该 会 让 一 切 都 清晰 明了 的 。 在 实际 的 订单 处 理 中 , 可 以 通过 推进 订单 状态 以 及 
应 用 每 个 状态 的 处 理 逻 辑 来 处 理 订 单 。 下 一 市 会 演示 这 些 内 容 , 而 且 我 还 会 解释 原子 文档 处理 和 


fingdAndModify 命 令 。 


6.3 ”原子 文档 处 理 


有 一 个 工具 你 肯定 不 想 错过 ， 那 就 是 MongoDB 的 findqaAndqModify 命 令 "。 该 命令 允许 对 文档 
进行 原子 性 更 新 ， 并 在 同一 次 调用 中 将 其 返回 。 因 为 它 带 来 了 无 限 可 能 ， 所 以 非常 重要 。 举 例 来 
说 , 可 以 使 用 findqandModify 来 构建 任务 队列 和 状态 机 ， 随 后 用 这 些 简 单 的 构件 来 实现 基础 的 事 
务 语 义 , 这 在 极 大 程度 上 扩展 了 能 用 MongoDB 构 建 的 应 用 程序 范围 。 有 了 这 些 与 事务 类 似 的 特性 ， 
就 能 在 MongoDB 上 构造 出 整个 电子 商务 站 点 ， 不 仅 是 产品 内 容 ， 还 有 结账 和 库存 管理 功能 。 

我 们 会 通过 两 个 实际 的 finadandqModify 命 令 的 例子 来 做 演示 。 首 先 展 示 如 何 处 理 购 物 车 中 
的 基本 状态 变迁 ， 然 后 看 一 个 更 进一步 的 例子 一 一 管理 有 限 的 库存 。 












































GD 不 同 环境 里 ， 该 命令 的 标识 也 会 有 所 不 同 。Shell 辅 助 方 法 是 通过 db .orders .findaAndqMofify 这 样 的 驼峰 式 大 
小 写 规则 拼写 来 调用 的 ， 而 Ruby 则 使 用 下 划 线 : fijngd_angd_modify。 更 让 人 困惑 的 是 核心 服务 器 所 接受 的 命令 
是 findqandmodqify。 如 果 需 要 手动 发 起 命令 ， 则 需要 使 用 最 后 一 种 形式 。 
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6.3.1 订单 状态 变迁 


所 有 的 状态 变迁 都 有 两 部 分 : 一 次 查询 ,确保 是 一 个 合法 的 初始 状态 ; 一 次 更 新 ,触发 状态 
的 变更 。 让 我 们 跳 过 订单 处 理 里 的 一 些 步 又 ， 假 设 用 户 正 要 单 击 “ 现 在 文 付 ” 功 能 按钮 Pay Now 
来 授权 购买 。 如 果 要 在 应 用 程序 端 同步 授权 用 户 的 信用 卡 ， 则 需要 确保 以 下 几 件 事 : 

(1) 只 能 授权 用 户 在 结账 页 面 上 看 到 的 金额 ; 

(2) 在 授权 过 程 中 购物 车 的 内 容 不 能 发 生变 化 ; 

(3) 授权 过 程 中 发 生 错 误 时 ， 要 让 购物 车 回 到 前 一 个 状态 ; 

(4) 如 果 信 用 卡 授权 成 功 , 将 支付 信息 提交 到 订单 里 , 订单 的 状态 变 为 SHIPMENT PENDING。 

第 一 步 是 让 订单 进入 PRE-AUTHORIZE 状 态 。 我 们 使 用 fingAndModi fy 查找 用 户 的 当前 订 
单 对 象 ， 并 确保 对 象 是 CART 状 态 的 : 

db.orders.ftindAndModifyl(t 


query: {user_ id: ObjectIid("4c4b1476238d3b4dd5000001")， 
state: "CART" }, 











update: {"S$Sset": {"state": "PRE-AUTHORIZE"}, 
new: truel} 


] ) 

如 果 成 功 , findqandqModi fy 会 返回 状态 变迁 后 的 订单 对 象 。 “一旦 订单 进入 PRE-AUTHORIZE 
状态 ， 用 户 就 无 法 再 编辑 购物 车 的 内 容 了 ， 这 是 因为 对 购物 车 的 所 有 更 新 总 是 确保 CART 状 态 。 
现在 ， 处 于 预 授 权 状 态 ， 我 们 利用 返回 的 订单 对 象 ， 重 新 计算 各 项 总 计 。 计 算 完 毕 之 后 ， 发 出 新 
的 findAngdModify， 当 新 的 总 计 和 之 前 的 一 人 致 时 ， 将 订单 的 状态 变迁 为 AUTHORIZING。 以 下 是 
用 到 的 findqaaAndModai fy 命令 : 


db.orders.ftindAndModifyl(t 
query: {user_ id: ObjectId("4c4b1476238d3b4dq5000001")， 
total: 99000, 


十 二 十 入 。 NDRD__ATIMUMNRTTmN 
DLA. | 








update: {"S$Sset": {"state": "AUTHORIZING"}} 

}) 

如 果 第 二 个 findAandModify 失 败 了 , 那么 必须 将 订单 的 状态 退回 为 CART, 并 将 更 新 后 的 总 
计 信 息 告 诉 用 户 。 但 如 果 它 成 功 了 ,那么 我 们 就 知道 授权 的 总 金额 和 呈现 给 用 户 的 金额 是 一 样 的 ， 
也 就 是 说 可 以 继续 进行 实际 的 授权 API 调 用 了 。 应 用 程序 现在 会 对 用 户 的 信用 卡 发 起 一 次 信用 卡 
授权 请 求 。 如 果 授 权 失 败 ， 和 之 前 一 样 ， 把 失败 记录 下 来 ， 将 订单 退回 CART 状 态 。 

但 如 果 授 权 成 功 ， 把 授权 信息 写 人 订单， 订单 流转 到 下 一 个 状态 ， 两 步 都 在 同一 个 
findqaAndqModify 调 用 里 完成 。 下 面 这 个 例子 通过 一 个 示例 文档 来 表示 接受 到 的 授权 信息 ， 它 会 
附加 到 原 订单 上 : 











J 默认 情况 下 ，findandqModify 命 令 会 返回 更 新 前 的 文档 。 要 返回 修改 后 的 文档 ， 必 须 像 示例 中 那样 指定 {new: 


Lue 
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auth doc = {ts: new Date() ， 
CC: 3432003948293040， 
1d: 2923838291029384483949348,， 
gateway: "Authorize.net"} 
db.orders.ftindAndModifyl(t 
query: {user_ id: ObjectId("4c4b1476238d3b4dd5000001")， 
state: "AUTHORIZING" }, 


update: {"Sset": 
{"state": "PRE-SHIPPING"}, 
"authorization": auth_ doc)} 


同 

请 注意 ，MongoDB 的 一 些 特 性 简化 了 这 个 事务 性 过 程 。 我 们 可 以 原子 性 地 修改 任意 文档 ， 
单个 连接 中 能 保证 谈 取 的 一 致 性 。 最 后 ， 文 档 绪 构 本 吴 也 允许 这 些 操作 来 适应 MongoDB 提 供 的 
单 文档 原子 性 。 本 例 中 , 文档 结构 允许 将 订单 条 目 、 产 品 、 价格 和 用 户 号 份 都 放 进 同一 个 文档 里 ， 
保证 只 逢 操作 一 个 文档 就 能 完成 销售 。 

本 例 应 该 让 你 印象 次 刻 ， 也 会 让 你 感到 疑惑 〈 就 像 我 一 样 )， MongoDB 到 底 能 否 实现 多 对 象 
事务 行为 呢 ? 答案 是 肯定 的 ， 可 以 通过 万 一 个 电子 商务 网 站 功能 来 做 演示 ， 即 库存 管理 功能 。 





























6.3.2 ”库存 管理 


并 非 所 有 电子 商务 网 站 都 需要 严格 的 库存 管理 , 大 多 数 商品 都 有 充足 的 时 间 进 货 , 这 使 得 订 
单 不 用 考虑 当前 商品 的 实际 数量 。 这 种 情况 下 ,管理 库存 就 是 简单 地 管理 期 望 值 ; 当 库 存 仅 有 少 
量 存 代 时 ， 调 整 送 代 预 期 即 可 。 

限量 商品 则 有 不 同 的 挑战 。 假 设 正在 销售 指定 座位 的 音乐 会 门票 或 者 手工 艺术 品 , 这 些 产 品 
是 不 能 肆 期 保值 的 ， 用 户 总 是 硕 望 保证 能 购买 到 目 己 所 选 的 产品 。 本 节 我 将 展示 一 种 使 用 了 
MongoDB 的 可 行 解决 方案 。 这 能 进一步 说 明 fingAndModify 命 令 的 创造 性 ， 以 及 如 何 明智 地 使 
用 文档 模型 ， 还 能 演示 如 何 实 现 跨 多 个 文档 的 事务 性 语义 。 

建 模 库存 的 最 好 方法 就 是 想象 一 个 真实 的 了 商店。 如 果 在 一 家 园艺 商店 里 , 我 们 能 看 见 并 感受 
到 实际 库存 量 ; 很 多 铲子 、 友子 和 剪刀 在 过 道里 摆 成 一 排 。 要 是 我 们 拿 起 一 把 铲子 放 进 购物 车 里 ， 
对 其 他 顾客 而 言 就 少 了 一 把 例子 , 其 结果 就 是 两 个 客户 不 能 同时 在 他 们 的 购物 车 里 拥有 同一 把 傲 
子 。 我 们 可 以 使 用 这 个 简单 的 原则 来 建 模 库存 。 在 库存 集合 中 为 仓库 里 的 每 件 实际 商品 保存 一 个 
对 应 的 文档 。 如 果 仓 库 里 有 10 把 铲子， 数据 库 里 就 有 10 个 铲子 文档 。 每 个 库存 项 都 通过 sku 链 接 
到 产品 上 上， 并且 拥 有 AVAILABLE (0)、IN_CART (1) 、PRE_ORDER (2) 和 PURCHASED (3) 这 
四 个 状态 中 的 某 个 状态 。 

下 面 的 代码 搬入 了 三 把 铲子 、 三 把 孝子 和 三 把 剪刀 作为 可 用 库存 : 


3 .times do 


















































@Qinventory.insert({:sku => 'shovel', :State => AVAILABLE}) 

Qinventory.insert({:sku => 'rake', :State => AVAILABLE}) 

Qinventory.insert({:sku => 'clippers', :state => AVAILABLE}) 
end 





我 们 将 用 一 个 特殊 的 库存 获取 类 来 管理 库存 。 我 们 和 完 看 看 它 是 如 何 工作 的 ， 然 后 深入 其 中 ， 
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揭示 它 的 实现 原理 。 

库存 获取 各 能 向 购物 车 内 添加 任意 产品 集合 。 此 处 , 我 们 创建 了 一 个 新 订单 对 象 与 一 个 新 的 
库存 获取 带 。 随 后 用 获取 融 癌 指定 订单 添加 了 三 把 铲子 和 一 把 剪刀 ， 订 单 由 传 给 ad9_to_cart 
方法 的 订单 ID 指定 ， 万 外 再 传人 两 个 文档 指定 产品 和 数量 : 

Qorder_id = Qorders.insert({:username => 'kbanker', :item ids => []}) 


Qfetcher = JInventoryFetcher.new(:orders => Qorders, 
:inventory => @inventory) 





@Qfetcher.add to cart (Qorder_ id, 


{Sku = "oNoOvelr Sty = 3 
{Sku => "CLIiIDDers", waty => 1},) 
order = Qorders.find one({" _ id" => Qorder id}) 
puts "\nHere's the order:" 
D order 
如 采 某 件 商 品 添加 失败 ，adqaq_to_cart 方 法 会 抛 出 一 个 异 稼 。 如 采 执 行 成 功 ， 订 单 应 该 是 
这 样 的 : 


{"_id" => BSON: :ObjectId('4cdf3668238d3b6e3200000a')， 

"username"=>"kbanker", 

"item ids" => [BSON: :ObjectId('4cdf3668238d3b6e32000001')， 
BSON: :ObjectId('4cdf3668238d3b6e32000004')， 
BSON: :ObjectId('4cdf3668238d3b6e32000007')， 
BSON: :ObjectId('4cdf3668238d3b6e32000009')]， 

} 

订单 文档 里 会 保存 每 件 实际 库存 项 的 _iq， 可 以 像 下 面 这 样 查询 这 些 库存 项 : 


puts "\nHere's each item:" 








Grocri item iqs | cen qo |itenm iql 
item = @inventory.find one({"_id" => item id}) 
p item 

end 





仔细 查看 每 个 条 目 ， 会 发 现 它们 的 状态 都 是 1， 对 应 了 IN_CaART 状 态 ， 而 且 其 中 还 用 时 间 戳 
记录 了 上 次 状态 改变 的 时 间 。 如 果 商 品 被 放 入 购物 车 的 时 间 太 长 了 , 稍 后 还 可 以 使 用 这 个 时 间 戳 
对 这 些 商 品 做 过 期 处 理 。 举例 来 说 ,可 以 规定 用 户 有 15 分 钟 来 完成 将 商品 添加 到 购物 车 到 结账 的 


整个 流程 : 
{"_id" => BSON: :OpjectIad(' 4caf3668238d3p6e32000001 ' ) ， 
“Sku"=s>"SshoveLl", "vetate"s>1, ts"s>SUuUn Nov 14 6019075220UC 20]0%} 


{"_id"=>BSON: :ObjectId('4cdf3668238d3b6e32000004')， 
"Sku"s>"Sshovel", "State"=>1. "ES"=>uS0n Nov L401:07:52 7 UTE 2 二 0 


{"_id"=>BSON: :ObjectId('4cdf3668238d3b6e32000007')， 
"sku"=>"shovel", "state"=>1, "ts"=>"Sun Nov 14 01:07:52 UTC 2010"} 


{"_id"=>BSON: :ObjectId('4cdf3668238d3b6e32000009')， 
"sku"=>"clippers", "state"=>1, "ts"=>"Sun Nov 14 01:07:52 UTC 2010"} 


如 果 这 个 InventoryFetcher 的 API 还 讲 得 过 去 ， 那 么 你 应 该 能 预感 到 如 何 实 现 库存 管理 
了 ,findAndModify 命 令 叉 在 其 中 发 挥 了 重要 作用 ,本 书 的 源 代码 中 包含 InventoryFetcher 
的 完整 源 代码 及 测试 倒 件 ,此 处 我 们 不 会 仔细 介绍 每 行 代 码 ,但 会 着 重 说 明 其 中 的 三 个 重要 方法 。 
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首先 ， 当 传人 一 个 要 添加 到 购物 车 里 的 商品 列表 时 ， 库 存 获 取 需 会 尝试 将 它们 的 状态 从 
AVAILABLE 变更 为 IN_CART。 如 果 操 作 中 有 哪 一 步 失 败 了 (比如 某 项 商品 未 能 添加 到 购物 车 里 )， 
那么 整个 操作 就 会 回 滚 。 看 看 之 前 调用 过 的 adqa_to_cart 方 法 : 


def aqaQq to cart (order id, *items) 
jtem selectors = [|] 








items.each do |itenm| 
item[:qty] .times do 
item selectors << {:sku => item[:skul]} 
end 
end 


transition state(order id, item selectors, :from => AVAILABLE ， 
:to => IN_CART) 
end 


该 方法 并 没有 完成 上 述 功能 ， 它 只 是 接收 要 添加 到 购物 车 的 具体 商品 并 增加 其 数量 ， 这 样 
每 件 实际 谎 加 到 购物 车 里 的 商品 都 能 有 一 个 库存 项 选择 硕 。 人 举例 来 说 ， 以 下 文档 表示 想 添加 两 
把 铲子 : 

{:sku => "shovel"，:qty => 2} 
a 变 成 : 

[{:sku => "shovel"}, {:sku => "shovel"}] 

针对 每 件 要 添加 到 购物 车 里 的 商品 ， 都 填 要 一 个 单独 的 查询 选择 本。 因此 ，adq_to_cart 
方法 会 将 库存 项 选择 磊 数 组 传 给 一 个 名 为 transition_state 的 方法 。 例如 ,上 述 代码 指明 了 状 
态 应 该 从 AVAILABLE 变更 为 IN_CART: 


HM> 





def transition state(order id, selectors, opts={}) 
items transitioned = [|] 


begin 
for selector in selectors do 
query = selector.merge(:state => opts[:froml]) 
Physical item = @inventory.find and modify(:gquery => gquery, 
"date eS (Seet™ Ss> {etate SS> opte[ltol, Ee SS> Time now. UEeCy},) 


if physical item.nil? 
raise InventoryFetchFailure 
end 


items transitioned << physical item[' id'] 


Qorders.update({:_id => order_ id}, 
{"Spush" => {:item ids => physical item[' iqd']}}) 
end 


rescue Mongo: :OperationFailure, InventoryFetchFailure 


rollback(order id, items transitioned, opts[:from], opts[:to]) 
raise InventoryFetchFailure, "Failed to adgd #{selector[:sku]j]j}" 
end 


jtems transitioned.size 
end 
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为 了 变更 状态 ， 每 个 选择 需 都 有 一 个 额外 的 条 件 {: state => AVAILABLE}， 随 后 选择 需 会 
被 传 给 findqanaqModaify, 如 果 条 件 匹 配 , 则 设置 时 间 惟 和 库存 项 的 新 状态 。transition_ state 
方法 会 保存 变更 过 状态 的 库存 项 列表 ， 将 它们 的 ID 更 新 到 订单 里 。 

如 果 findqAndqModi fy 命令 执行 失败 并 返回 ni ]， 那么 会 抛 出 一 个 InventoryFetchrFai Jure 
异常 。 如 有 果 命 令 由 于 网 络 错误 而 失败 ,那么 必然 会 有 Mongo: :0perationFailure 异 常 , 我 们 需 
要 捕获 该 异常 。 这 两 种 情况 下 ， 痢 要 回 深 之 前 修改 过 的 库存 项 ， 然后 抛 出 一 个 
InventoryFetchFailure,， 其 中 包含 无 法 添加 的 库存 项 SKU。 随 后 能 在 应 用 层 捕 获 该 异常 ， 告 
诉 用 户 操作 失败 了 。 

现在 就 只 剩 下 回 滚 的 代码 了 : 

def rollback(order id, item ids，old_state，new_state) 


Qorders.update({"_ _ id" => order id}, 
{"SPULIAl11" => {:item ids => item ids}}) 











item ids.each do |ig| 
@Qinventory.find angd modifyl( 
:query => {"_id" => id, :state => new_ state}, 
:Update => {"S$Sset" => {:state => olqd state, :ts => Time.now.utc}} 
) 
end 
end 


我 们 使 用 spul1Al11 操 作 符 删 除了 刚才 添加 到 订单 item_ias 数 组 里 的 所 有 ID。 然 后 遍历 库 
存 项 ID 列表 ， 将 每 项 的 状态 改 回 原来 的 样子 。 

可 以 将 transition_state 方 法 作为 其 他 变更 库存 项 状态 方法 的 基础 ,要 将 其 整合 进 在 上 一 
方 里 构建 的 订单 流转 系统 应 该 并 不 困难 。 这 就 作为 练习 留 给 读者 了 。 

你 可 能 会 问 : 该 系统 是 否 足够 强健 , 能够 用 于 生产 环境 ?在 没有 了 人 解 更 多 详情 之 前 ,无 法 轻 
易 得 出 结论 ， 但 可 以 肯定 的 是 MongoDB 提 供 了 足够 的 特性 ， 在 需要 类 似 事 务 的 行为 时 ， 能 有 一 
个 可 用 的 解决 方案 。 当 然 , 没 人 会 用 MongoDB 构 建 一 个 银行 系统 。 但 如 果 只 需要 某 类 事务 行为 ， 
可 以 考虑 使 用 MongoDB， 尤 其 是 想 让 整个 应 用 程序 运行 在 一 个 数据 库 上 的 时 候 。 


6.4 具体 细节 : MongoDB 的 更 新 与 删除 


要 真正 掌握 MongoDB 中 的 更 新 ， 需要 彻底 理解 MongoDB 的 文档 模型 和 查询 语言 ， 前 几 市 里 
的 例子 对 此 很 有 帮助 。 不 过 ， 与 全 书 的 “具体 细节 ”部 分 一 样 ， 我 们 会 讨论 实质 性 的 问题 。 此 处 
不 仅 会 赛 括 MongoDB 更 新 接口 中 每 个 特性 的 简要 概述 ， 还 有 多 项 与 性 能 相关 的 说 明 。 人 简单 起 见 ， 
后 续 的 示例 都 使 用 JavaScript。 

















6.4.1 更 新 类 型 与 选项 


MongoDB 文 持 针对 性 更 新 与 替换 更 新 。 前 者 使 用 一 个 或 多 个 更 新 操作 符 来 定义 ， 后 者 使 用 
一 个 文档 来 蔡 换 匹配 更 新 查询 选择 硼 的 文档 。 
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语法 说 明 : 更 新 与 查询 
刚 接 触 MongoDB 的 用 户 有 时 会 分 不 清 更 新 与 查询 的 语法 。 针 对 性 更 新 总 是 由 更 新 操作 符 
开始 的 ， 这 些 操 作 符 几乎 全 是 动词 形式 的 。 以 SadgdToSet 操 作 符 为 例 : 
db.products.update({}, {S$addToSet: {tags: 'green'}}) 
如 果 要 为 该 更 新 增加 一 个 查询 选择 器 ， 请 注意 这 个 查询 操作 符 在 语义 上 起 着 形容 词 的 作 
用 ， 紧 跟 在 要 查询 的 字段 名 之 后 : 


db.products.update({price: {Slte: 10}}, 
{SaddToSet: {tags: 'cheap'}}) 


基本 上 ,更 新 操作 符 是 前 级 ， 而 查询 操作 符 通 常 是 中 级 。 


请 注意 ， 如 果 更 新 文档 含糊 不 清 , 更 新 将 会 失败 。 此 处 , 我 们 将 更 新 操作 符 $adqdToset 和 符 
换 风 格 的 {fname: "Pitchfork"1} 结合 在 一 起 : 

db.products.update({}, {name: "Pitchfork", SaddToSet: {tags: 'cheap'}}) 

如 采 目 的 是 改变 文档 的 名 字 ， 必 须 使 用 $set 操 作 符 : 


db.products.update({}, 
{Sset: {name: "Pitchfork"}, SaddToSet: {tags: 'cheap'}}) 


1. 多 文档 更 新 

默认 情况 下 ,更 新 操作 只 会 更 新 查询 选择 各 匹配 到 的 第 一 个 文档 ,要 更 新 匹配 到 的 所 有 文档 ， 
需要 明确 指定 多 文档 更 新 (multidocumentupdate )。 在 Shell 里 ， 要 实现 这 一 点 ,可 以 将 update 方 
法 的 第 四 个 参数 设置 为 true。 下 面 展示 如 何 为 产品 集合 里 的 所 有 文档 添加 cheap 标 签 : 

db.products.update({}, {SaddToSet: {tags: 'cheap'}}, false, true) 


使 用 Ruby 驱 动 (和 大 多 数 其 他 驱动 ) 时 ， 可 以 更 清楚 地 表示 多 文档 更 新 : 


QPproducts.update({}, {'SaddToSet’' => {'tags' => 'cheap'}}, :multi => true) 























2. upsert 

某 项 内 容 不 存在 时 进行 插入 ， 和 看 在 则 进行 更 新 ， 这 是 很 常见 的 需求 。 可 以 使 用 MongoDB 的 
upsert 轻 松 实现 这 一 模式 。 如 采 查 询 选 择 硕 匹配 到 文档， 进行 普通 的 更 新 操作 。 如 条 没有 匹配 到 
文档 ， 将 会 插入 一 个 新 文档 。 新 文档 的 属性 合并 自 查 询 选 择 需 与 针对 性 更 新 的 文档 。” 

以 下 是 在 Shell 中 使 用 upsert 的 简单 示例 : 


db.products.update({slug: 'hammer'}, {SaddToSet: {tags: 'cheap'}}, true) 
这 是 Ruby 中 等 效 的 upsert 示 例 : 


QPproducts.update({'slug' => 'hammer'}, 
{'SaddTlToSet' => {'tags’' => 'cheap'}}, :upsert => true) 


你 应 该 已 经 猜 到 了 ，upsert 一 次 只 能 捅 人 或 更 新 一 个 文档 。 在 需要 原子 性 地 更 新 文档 ， 以 及 
无 法 确定 文档 是 否 存 在 时 ，upsert 能 发 挥 巨 大 的 作用 。6.2.3 市 中 有 一 个 实际 的 例子 ， 摘 述 了 如 何 
加 购物 车 中 评 加 产品 。 








J 请 注意 ，upsert 无 法 用 于 蔡 换 风 格 的 更 新 操作 。 


6.4 具体 细节 : MongoDB 的 更 新 与 删除 103 


6.4.2 ”更 新 操作 符 


MongoDB 文 持 很 多 更 新 操作 符 ， 此 处 我 会 为 每 个 更 新 操作 符 提 供 一 个 简单 的 示例 。 
1. 标准 更 新 操作 符 
第 一 组 是 最 第 用 的 操作 符 ， 几 乎 能 用 于 任意 数据 类 型 。 














@ Sinc 

可 以 使 用 $inc 操 作 符 递 增 或 递减 数值 

db.products.update({slug: "shovel"}, {Sinc: {review count : 1}}) 
db.users.update({username: "moe"}, {Sinc: {password retires: -1}) 


也 可 以 用 它 加 或 减 任意 数字 : 

db.readings.update({_1id: 324}, {Sinc: {temp: 2.7435}}) 

Sinc 既 方便 又 高 效 ， 因 为 它 很 少 会 改变 文档 的 大 小 ，s$inc 通 稼 原 地 作用 在 数据 的 磁盘 位 置 
上 ， 所 以 只 会 影响 到 指定 的 数据 对 。” 

正如 添加 产品 到 购物 车 的 示例 中 演示 的 那样 ，$inc 能 用 于 upsert 中 。 例 如 ， 可 以 将 之 前 的 更 
新 改 为 upsert: 

db.readings.update({_id: 324}, {Sinc: {temp: 2.7435}}, true) 

如 果 不 存 在 _id 是 324 的 文档 ， 会 用 该 _id 创 建 一 个 新 文档 ， 文 档 中 temp 的 值 就 是 $inc 的 
po es 








@ sset 与 Sunset 

如 果 需 要 为 文档 中 的 特定 键 赋值 ， 可 以 使 用 sset。 为 键 赋值 时 ,可 以 使 用 任意 合法 的 BSON 
类 型 。 也 就 是 说 以 下 更 新 都 是 正确 的 : 

db.readings.update({_id: 324}, {S$set: {temp: 97.6}}) 


db.readings.update({_id: 325}, {Sset: {temp: {f: 212, c: 100} }) 
db.readings.update({_id: 326}, {$set: {temps: [97.6, 98.4, 99.1]}}) 


如 采 键 已 存在 ， 其 值 会 被 覆盖 ; 否则 会 创建 一 个 新 的 键 。 

Sunset 能 删除 文档 中 特定 的 键 。 下 面 展 示 如 何 删除 文档 中 的 temp 键 : 

db.readings.update({_id: 324}, {Sunset: {temp: 1}) 

还 可 以 在 内 极 文 档 和 数组 之 上 使 用 sunset。 这 两 种 情况 都 要 用 点 符号 指定 内 部 对 象 。 如 果 
集合 中 有 两 个 文档 : 

Cid 325 "tem {fe 212 e100} 

{_id: 326, temps: [97.6, 98.4, 99.1]} 


我 们 可 以 用 下 面 的 声名 删除 第 一 个 文档 里 的 华氏 温标 读数 , 以 及 第 二 个 文档 中 的 第 0 个 元 素 : 


db.readings.update({_1id: 325}, 
{Sunset: {'temp.f': 1}}) 























db.readings.update({_id: 236}, 
I oR me 


由 当 数 字 类 型 发 生 改 变 时 ,情况 会 有 所 不 同 。 如 果 $inc 造 成 32 位 整数 被 转换 为 64 位 整数 ,那么 整个 BSON 文 档 会 原 
地 重 与 。 
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$set 也 能 使 用 访问 子 文档 和 数组 元 到 的 点 特写。 
@ Srename 


如 果 要 更 改 键 名 ， 请 使 用 srename: 


db.readings.update({_1id: 324}, {Srename: {'temp': 'temperature'}) 

还 可 以 重 命 名 子 文 档 : 

db.readings.update({_1id: 325}, {Srename: {'temp.f': 'temp.farenheit'}) 
对 数组 使 用 $unset 


请 注意 ， 在 单个 数组 元 素 上 使 用 sunset 的 结果 可 能 与 你 设想 的 不 一 样 。 其 结果 只 是 将 元 
素 的 值 设 置 为 null， 而 非 删 除 整 个 元 素 。 要 彻底 删除 菜 个 数组 元 素 ， 可 以 用 spull 和 spop 操 
作 符 。 


db.readings.update({_id: 325}, {Sunset: {'temp.f': 1}) 
db.readings.update({_id: 326}, {Sunset: {'temp.0': 1}) 


2. 数组 更 新 操作 符 

数组 在 MongoDB 文 档 模型 中 的 重要 性 是 显而易见 的 ， 因 此 MongoDB 理 所 当然 地 提供 了 很 多 
专门 用 于 数组 的 更 新 操作 符 。 

@ SpushspushAll 

如 果 需 要 为 数组 追加 一 些 值 ， 可 以 考虑 spush 和 spushAl1l1， 前 者 能 向 数组 中 添加 一 个 值 ， 
而 后 者 则 文 持 添加 一 个 值 列 表 。 例 如 ， 可 以 很 方便 地 为 铲子 添加 新 标签 : 


db.products.update({slug: 'shovel'}, {Spush: {'tags': 'tools'}}) 


如 朱 需 要 在 一 个 更 新 里 添加 多 个 标签 ， 同 样 不 成 问题 : 


db.products.update({slug: 'shovel'}, 
{SpushAll: {'tags': ['tools', 'dirt', 'garden']}}) 


注意 ， 可 以 往 数组 里 添加 各 种 类 型 的 值 ， 不 局 限于 标量 〈scalar )。 上 一 节 里 ， 回 购物 车 的 明 
细 条 目 数 组 里 添加 产品 的 代码 就 是 一 个 很 好 的 例子 。 

@ saddToSet 与 Seach 

$addToSet 也 能 为 数组 妃 加 值 , 不 过 它 的 做 法 更 细致 : 要 添加 的 信 如 采 不 存在 才 执 行 添 加 操 
作 。 因 此 ， 如 果 人 铲子 已 经 有 了 tools 标 签 ， 那么 以 下 更 新 不 会 修改 文档 : 




















db.products.update({slug: 'shovel'}, {S$addToSet: {'tags': 'tools'}}) 


如 果 想 在 一 个 操作 里 向 数组 添加 多 个 唯一 的 值 ， 必 须 结合 Seacn 操 作 符 来 使 用 sagddToSet。 
下 面 是 一 个 示例 : 


db.products.update({slug: 'shovel'}, 
{SaddTlToSset.™ (tags: (Seael [EOooLles" "dirt veteelL ly yy,) 


仅 当 seacph 中 的 值 不 在 tags 里 时 ， 才 会 进行 添加 。 
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@ spop 

要 从 数组 中 删除 元 素 , 最 简单 的 方法 就 是 使 用 $spop 操 作答。 如 果 用 spush 癌 数组 中 追加 了 一 
个 元 系 ， 那 么 随后 的 $pop 会 删除 最 后 添加 的 内 容 。 虽 然 Spop 第 和 $push 一 起 出 现 ， 但 也 可 以 单 
独 使 用 。 如 有 果 tags 数 组 里 包含 ['tools'，'dirt'，'garden'，'steel'] 这 四 个 伸 ， 那么 下 
面 的 Spop 会 删除 steel 标 签 : 

db.products.update({slug: 'shovel'}, {S$pop: {'tags': 1}}) 


spop 的 语法 和 sunset 类 似 ， 即 {spop: {'elementToRemove': 1}}, 不 同 的 是 Spop 还 能 
接受 -1 来 删除 数组 的 第 一 个 元 素 。 下 面 展示 如 何 从 数组 中 删除 tools 标 签 : 

db.products.update({slug: 'shovel'}, {S$pop: {'tags': -1}}) 

可 能 有 一 个 地 方 会 让 你 不 大 满意， 即 无 法 返回 Spop 从 数组 中 删除 的 值 。 尽 管 它 的 名 字 叫 
spop， 但 其 结果 和 你 所 熟知 的 栈 式 操作 不 太一 样 ， 请 注音 这 一 点 。 

® Spull 与 SpullAll 

spu1l1 的 作用 与 $spop 类 似 , 但 更 高 级 一 点 。 使 用 $spul1l 时 可 以 明确 用 值 来 指定 要 删除 哪个 数 
组 元 素 ， 而 不 是 位 置 。 再 来 看 看 标签 示例 ， 如 条 要 删除 airzt 标 签 ， 无 需 知 道 它 在 数组 中 的 位 置 ， 
只 需 告诉 spul1 操 作 符 删除 它 就 可 以 了 : 


db.products.update({slug: 'shovel'}, {Spull {'tags': 'dirt'}}) 


$pullA11 类 似 于 $pushA11， 人 允许 提供 一 个 要 删除 值 的 列表 。 如 果 要 删除 irt 和 garden 标 
签 ， 可 以 这 样 使 用 $pushA1l1: 

db.products.update({slug: 'shovel'}, {SPUI11IAI1 {'tags': ['dirt', 'garden']}}) 

3. 位 置 更 新 

在 MongoDB 中 建 模 数据 时 通常 会 使 用 子 文档 数组 ， 但 在 位 置 操 作 符 出 现 之 前 ， 要 操作 那些 
子 文档 并 非 易 事 。 位 置 操 作 符 允许 更 新 数组 里 的 子 文档 , 我 们 可 以 在 查询 选择 需 中 用 点 符号 指明 
要 修改 的 子 文档 。 硅 没有 示例 ,理解 起 来 比较 厂 烦 ， 因 此 此 处 假设 有 一 个 订单 文档 ， 其 中 一 部 分 
内 容 是 这 样 的 : 

{ _id: new ObjectId("6a5b1476238d3b4dd5000048")， 

line items: l 
{ _id: ObjectId("4c4b1476238d3b4dd5003981")， 


SKU : 90909 
name: "Extra Large Wheel Barrow", 





























quantity: 1, 

pricing: { 
retarle "95897, 
sale: 4897, 

} 


| 
~ 


Pe 


_id: ObjectId("4c4b1476238d3b4dd5003981")， 
sk OO 

name: "Rubberized Work Glove, Black", 
quantity: 2, 
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retail: 1499, 
sale: 1299,， 
} 
} 
] 
} 


假设 想 设置 第 二 个 明细 条 目的 数量 , 把 SKU 为 10027 那 条 的 数量 设置 为 5S。 问 题 是 你 不 清楚 这 
个 特定 的 子 文档 在 lijne_items 数 组 里 的 位 置 甚至 都 不 知道 它 是 否 存 在 。 只 需 一 个 简单 的 查询 
选择 锅 ， 以 及 一 个 使 用 了 位 置 操 作 符 的 更 新 文档 ， 这 些 问 题 就 都 迎刃而解 了 : 

duery = {_id: ObjectId("4c4b1476238d3b4d95003981")， 


'line items.sku': "10027"} 
update = {S$set: {'line items.$.guantity': 5S5}} 

















db.orders.update (query, update) 

在 'l1ine_items.s$.quantity' 字 符 串 里 看 到 的 $ 就 是 位 置 操作 符 。 如 果 查 询 选择 絮 匹 配 到 
了 文档 ， 那 么 有 10027 这 个 SKU 的 文档 的 下 标 就 会 蔡 换 位 置 操作 符 ， 从 而 更 新 正确 的 文档 。 

如 果 数 据 模 型 中 包含 子 文档 , 那么 你 会 发 现在 执行 精细 的 文档 更 新 操作 时 , 位 置 操 作 符 实在 
太 有 用 了 。 











6.4.3 findaAndModify 命 令 


本 草 已 经 出 现 了 很 多 findaAndqModify 命 令 的 鲜 活 示例 ， 就 差 罗列 它 的 选项 了 。 在 以 下 选项 
中 ， 只 有 auery 以 及 update 或 remove 是 必 选 的 。 . 

口 auery， 文 档 查 询 选 择 带 ， 默 认为 {}。 

D update， 描 述 更 新 的 文档 ， 默 认为 {}。 

口 remove， 布 尔 值 ， 为 Erue 时 删除 对 象 并 返回 ， 默 认为 false。 

口 new， 布 尔 值 ， 为 true 时 返回 修改 后 的 文档 ， 默 认为 false。 

口 sort, 指定 排序 方 辐 的 文档 , 因为 findAndModify 一 次 只 修改 一 个 文档 ，sort 选 项 能 
来 控制 处 理 哪 个 文档 。 例 如 ， 可 以 按照 {created_at: -1} 来 排序 ， 处 理 最 近 创 建 的 匹 
配 文档 。 

口 fields， 如 果 只 需要 返回 字段 的 子 集 ， 可 以 通过 该 选项 指定 。 当 文档 很 大 时 ， 这 个 选项 
很 有 用 。 能 像 在 其 他 查询 里 一 样 指 定 字 上段， 请 查看 第 5 革 中 与 字段 相关 的 示例 。 

口 upsert， 布 尔 值 ， 为 true 时 将 findAangqModify 当 做 upsert 对 待 。 如 果 文 档 不 存在 ， 则 
创建 之 。 请 注意 ， 如 果 和 希望 返回 新 创建 的 文档 ， 还 需要 指定 {new: true}。 


6.4.4 删除 
得 知 删除 文档 的 操作 毫 无 挑战 之 后 ， 你 一 定 非常 宽慰 。 我 们 可 以 删除 整个 集合 ， 也 可 以 向 














CQ upaate 与 Femove 二 选 一 。 一 一 译 者 注 
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remove 方 法 传递 一 个 查询 选择 硕 ， 删 除 集合 的 于 集 。 删 除 全 部 评论 是 很 容易 的 : 

db.reviews.remove ({}) 

但 更 常见 的 做 法 是 删除 特定 用 户 的 评论 : 

db.reviews.remove({user id: ObjectId('4c4b1476238d3b4gdd5000001'))) 

所 有 对 *emove 的 调用 都 接受 一 个 可 选 的 查询 选择 硕 , 用 于 指定 要 删除 的 文档 。 正 如 API 所 示 ， 
没有 其 他 要 说 明 的 内 容 了 。 也 许 你 会 对 这 些 操作 的 并 发 性 和 原子 性 心 存疑 问 ,， 下 一 节 里 我 会 对 此 
做 出 解释 。 


6.4.5 ”并 发 性 、 原 子 性 与 隔离 性 


理解 MongoDB 中 如 何 保证 并 发 性 是 很 重要 的 。 自 MongoDB v2.0 起 ， 锁 策略 非常 粗放 ， 靠 一 
个 全 局 读 写 锁 来 控制 整个 nwongod 实 例 。" 这 也 就 意味 着 ,任何 时 刻 ， 数据库 只 允许 存在 一 个 写 线 
程 或 多 个 读 线 程 ( 两 者 不 能 并 存 )。 实 际 情况 比 昕 上 去 要 好 得 多 ， 因 为 这 个 锁 策 略 还 有 一 些 并 发 
优化 措施 。 其 中 之 一 是 ,数据 库 持 有 一 个 内 部 上 映射， 知道 哪些 文档 在 内 存 里 。 对 于 那些 不 在 内 存 
里 的 文 梢 的 谈 写 ， 数 据 库 会 让 步 于 其 他 操作 ， 下 到 文档 被 载 和 内存 。 

第 二 个 优化 是 与 锁 让 步 。 任 何 写 操作 都 可 能 耗 时 很 人 入, 所 有 其 他 的 庶 写 操作 在 此 期 间 都 会 被 
阻塞 。 所 有 的 插入 、 更 新 和 删除 都 要 持 有 写 锁 。 插 和 人 的 耗 时 一 般 不 长 ,但 更 新 就 不 一 样 了 ， 比 方 
说 更 新 整个 集合 需要 很 久 , 涉及 很 多 文档 的 删除 操作 也 是 如 此 。 当 前 的 解决 方案 是 允许 这 些 耗 时 
很 久 的 操作 周期 性 地 和 暂停， 以 便 执 行 其 他 的 谈 和 写 。 在 操作 暂 俘 时 ， 它 会 日 已 俘 下 来 ， 释 放 锁 ， 
稍 后 再 恢复 。” 

但 在 更 新 和 删除 文档 时 ,这 种 暂 仿 行为 可 能 好 坏 掺 半 。 很 容易 想到 这 种 情况 : 希望 在 其 他 操 
作 发 生前 更 新 或 删除 所 有 文档 。 在 这 些 情况 下 ， 可 以 使 用 名 为 $atomic 的 特殊 选项 来 避免 暂停 。 
简单 地 在 查询 选择 硕 中 添加 satomic 操 作 符 即 可 : 


db.reviews.remove({user id: ObjectId('4c4b1476238d3b4dd5000001')， 
{Satomic: true}}) 


对 于 多 文档 更 新 ， 也 可 以 做 同样 的 处 理 。 这 迫使 整个 多 文档 更 新 在 隅 离 的 情况 下 执行 完毕 : 
db.reviews.update({satomic: true}, {Sset: {rating: 0}}, false, true) 
这 个 更 新 操作 将 所 有 评论 的 评分 设 为 0。 因 为 操作 是 隔离 执行 的 ， 所 以 不 会 暂停 ， 保证 系统 
始终 是 一 致 的 。” 
6.4.6 ”更 新 性 能 说 明 
经 验 表 明 , 对 更 新 是 如 何 作 用 于 磁盘 上 的 文档 能 有 一 个 基本 认识 , 有 助 于 设计 出 性 能 更 好 的 









































(本 书 翻译 过 程 后 期 ，MongoDB 推 出 了 2.2 版 本 ， 去 掉 了 全 局 的 写 锁 。 一 一 译 者 注 

Q 当然 ， 和 暂停 和 恢复 通常 发 生 在 几 毫 秒 内 ， 因 此 我 们 这 里 不 讨论 极端 的 中 断 。 

(3 注意 ， 如 果 使 用 了 satomic 的 操作 中 途 失败 ， 并 不 会 自动 回 滚 。 只 有 一 半 文 档 被 更 新 ， 而 另 一 半 还 是 保持 原来 
的 值 。 
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系统 。 你 应 该 理解 的 第 一 件 事 是 何 种 程度 的 更 新 能 被 称 为 “ 原 地 ”更 新 。 理想 情况 下 , 在 磁盘 上 ， 
更 新 对 一 个 BSON 文 档 的 影响 只 是 极 小 一 部 分 ， 这 样 的 性 能 是 最 好 的 ， 但 事实 并 非 总 是 如 此 。 我 
来 解释 一 下 其 中 的 绿 由 。 

磁盘 上 的 文档 更 新 本 质 上 分 三 种 。 第 一 种 , 也 是 最 高 效 的 , 只 发 生 在 单 值 修改 并 且 整 个 BSON 
文档 的 大 小 不 改变 的 情况 下 。 这 通常 会 发 生 在 $inc 操 作 符 上 ， 因 为 Sinc 只 会 增加 一 个 整数 ， 该 
值 在 磁盘 上 的 大 小 并 不 改变 。 如 果 这 个 整数 是 由 int 表 示 的 ， 那 么 它 会 占用 四 个 字 节 ;长 整数 和 
双 精 度 浮 点 数 会 占用 八 个 字 广 。 更 改 这 些 数 学 的 值 并 不 需要 更 多 空间 ， 因 此 人 磁盘 上 就 只 需 重 写 该 
文档 的 一 个 值 。 

第 二 种 更 新 会 改变 文档 的 大 小 和 绪 构 。BSON 文 档 会 表示 为 字 节 数组 ， 文 档 的 头 四 个 字 总 
是 存储 文档 的 大 小 。 因 此 ， 当 在 文档 上 使 用 $spush 操 作 符 时 ， 不仅 增加 整个 文档 的 大 小 ， 还 改变 
它 的 结构 。 这 有 要 求 在 磁盘 上 重 写 整个 文档 ， 这 人 么 做 的 效率 还 不 算 太 差 , 但 还 是 应 该 注意 一 下 。 如 
果 在 一 个 更 新 中 使 用 了 多 个 更 新 操作 符 , 那么 每 个 操作 符 都 会 重 写 一 次 文档 。 这 也 通常 不 算 什 么 
大 问题 , 尤其 是 写 操 作 发 生 在 内 存 里 时 ,但 如 果 文 档 特 别 大 , 比如 有 4 MB 左右 , 而 你 又 在 用 spush 
向 那些 文档 里 添加 值 ， 那 么 服务 器 端 就 可 能 要 做 很 多 事情 了 。” 

最 后 一 种 更 新 是 重 写 文 档 的 结果 。 如 果 文 档 扩 大 了 ,无 法 放 入 之 前 分 配 的 磁盘 空间 里 ,那么 
该 文档 不 仅 要 重 写 , 而 且 还 必须 移 到 新 的 空间 里 。 这 种 移动 操作 如 果 经 稼 发 和 后, 代价 还 是 很 大 的 。 
为 了 降低 此 类 开销 ，MongoDB 会 根据 每 个 集合 的 情况 动态 调整 填充 因子 (padding factor )。 也 就 
是 说 ， 如 果 有 一 个 集合 会 发 生 很 多 要 重新 分 配 空间 的 更 新 ， 则 会 增加 其 内 部 填充 因子 。 填 充 因子 
乘 上 插入 文档 的 大 小 后 就 能 得 到 要 额外 创建 的 空间 。 这 能 减少 未 来 重新 分 配 文档 的 数量 。 

要 查看 指定 集合 的 填充 因子 ， 可 以 运行 stats 命 令 : 


db.tweets.stats!() 
{ 
















































































"ns" : "twitter.tweets'", 
TOOoUNnt :D362 
"size" : 85794884, 
"avgObjSize" : 1599.4273783113663， 
"storageSize" : 100375552 ， 
"numExtents" : 12, 
"nindexes" lr 3 
"lastExtentSize" : 21368832， 
"Baddrnopactor.: 1 2 
Flace .0 
"totalIndexSize" : 7946240, 
"indexSizes" : { 
"Td ;2236416, 
UUSee triends Count 1 156467Y2, 
"UsSer.screen name 1 user.created at -1" : 4145152 
}, 
vol. 


这 一 推 文集 合 的 填充 因子 是 1.2， 即 插入 100 B 的 文档 时 ，MongoDB 会 在 磁盘 上 分 配 120 B。 


J 如 果 你 打算 执行 很 多 更 新 操作 ， 那 么 保持 较 小 的 文档 是 理 所 应 当 的 事 。 
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默认 的 填充 因子 是 1， 即 不 会 分 配额 外 空间 。 
现在 ， 有 个 小 小 的 忠告 。 此 处 讨论 到 的 注意 事项 适用 于 数据 大 小 超过 内 存 忆 数 , 或 者 写 负载 
极 重 的 情况 。 因 此 如 有 果 正 在 为 一 个 高 流量 网 站 构建 分 析 系 统 ， 请 适当 参考 本 市 的 内 容 。 








6.5 小结 


本 章 讨 论 了 很 多 内 容 。 一 开始 要 理解 各 种 更 新 好 像 要 接受 的 内 容 很 多 , 但 它们 表现 出 的 强大 
威力 让 人 振奋 。MongoDB 的 更 新 语言 和 它 的 查询 语言 一 样 复杂 精妙 。 我 们 能 像 更 新 简单 文档 一 
样 更 新 复杂 的 内 骸 结 构 。 有 需要 时 ， 还 可 以 原子 性 地 更 新 文档 ， 结 合 fingAndModi fy 构建 事务 
性 工作 流 。 

读 完 本 章 之 后 ， 如 采 感 觉 能 够 目 行 使 用 其 中 的 示例 ,那么 你 正 渐渐 成 为 一 名 MongoDB 遍 手 。 
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读 过 本 书 的 前 两 部 分 之 后 ， 你 应 该 能 从 开发 者 的 视角 很 好 地 理解 MongoDB 了 。 是 时 候 换 
个 角色 了 , 在 本 书 最 后 这 一 部 分 里 , 我 们 将 从 数据 库 管 理 员 的 视角 来 探讨 MongoDB。 也 就 是 说 ， 
这 一 部 分 将 涉及 与 性 能 、 部 署 、 容 错 性 和 扩展 性 相关 的 所 有 内 容 。 

要 让 MongoDB 发 挥 出 最 好 的 性 能 , 你 必须 要 设计 高 效 的 查询 , 并 是 保证 添加 了 合适 的 索引 ， 
而 这 是 第 7 章 将 要 讨论 的 话题 。 你 会 了 解 为 什么 索引 如 此 重要 、 如 何 选择 索引 并 运用 在 查询 优 
化 历 中 。 另 外， 第 7 章 还 会 介绍 如 何 使 用 查询 解释 如 和 剖析 絮 这 些 有 用 的 工具 。 

第 8 章 专 和 广 于 复制 ， 其 中 的 大 部 分 内 容 都 在 讲述 副本 集 是 如 何 工作 的 、 如 何 明智 地 部 署 副 
本 集 以 多 得 高 可 用 性 和 自动 故障 转移 。 此外, 你 还 会 了 解 到 如 何 使 用 复制 扩展 应 用 程序 的 读 操作 、 
定制 写 操作 的 耐久 性 。 

水 平 扩展 是 现代 数据 库 系 统 的 “ 必 杀 技 ”; MongoDB 通过 数据 分 区 来 实现 水 平 扩展 ， 这 
一 过 程 称 为 分 片 。 第 9 音 介 绍 了 分 厂 理 论 与 实践 ， 说 明 何 时 应 该 使 用 分 片 、 如 何 围绕 分 片 设计 
Schema， 以 及 如 何 进 行 部 署 。 

第 10 草 介 绍 了 部 署 与 管理 的 细节 。 我 们 将 看 到 与 特定 的 硬件 与 操作 系统 相关 的 一 些 建议 ， 
并 了 解 如 何 对 在 线 MongoDB 集群 进行 备份 、 监 控 和 故障 排查 。 
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本 章 内 容 

口 基本 的 索引 概念 和 理论 
口 索引 管理 

口 查询 优化 


索引 是 非常 重要 的 东西 ， 有 了 正确 的 索引 ，MongoDB 才 能 高 效 地 使 用 人 硬件， 为 应 用 程序 提 
供 快 速 的 查询 。 钳 误 的 索引 则 会 导致 相反 的 结果 : 慢 查 询 、 无 法 充分 利用 硬件。 显而易见 ， 想 要 
高 效 使 用 MongoDB 的 人 都 必须 理解 索引 。 

但 是 ， 对 于 很 多 开发 者 而 言 ， 索 引 是 个 神秘 的 话题 。 情 况 不 该 是 这 样 的 ， 一 旦 谈 完 本 章 ， 你 
应 该 能 很 好 地 理解 索引 。 要 介绍 索引 的 概念 ， 我 们 先 从 一 个 适当 的 思想 实验 ”人手 ， 然 后 探讨 一 
些 核心 的 过 引 概 念 ， 概 述 一 下 MongoDB 守 引 的 基础 一 一 B 树 数据 结构 。 

接 下 来 是 一 些 实践 。 我 们 将 讨论 唯一 性 索引 、 黎 臣 索 引 和 多 键 索 引 ， 为 索引 管理 做 些 说 明 。 
随后 ， 我 们 会 深入 人 研究 查询 优化 ， 描 述 如 何 使 用 explain () 和 查询 优化 需 。 


7.1 索引 理论 


本 市 ， 我 们 将 循序 渐进 地 进行 介绍 ， 从 一 个 扩展 的 类 比 开始 ， 以 概述 一 些 MongoDB 键 的 实 
现 细 蔬 结尾。 期 间 , 我 将 定义 很 多 重要 的 术语 并 提供 示例 。 如 末 你 不 太 了 解 复 合 键 索引 、 虚 拟 内 
存 和 索引 数据 结构 ， 那 么 阅读 本 广 将 会 受益 菲 浅 。 

















7.1.1 思想 实验 








要 理解 索引 ,你 需要 在 脑 中 有 个 画面 ,， 这 里 建议 想象 一 本 食谱 , 不 是 普通 的 食谱 ， 而 是 一 本 
5000 页 的 厚重 食谱 , 其 中 包含 针对 各 种 场合 、 菜 在 和 季节 的 精美 食谱 , 在 家 就 能 找到 所 有 的 配料 。 
这 是 本 终极 食谱 ， 让 我 们 称 它 The Cookbook Omega。 

虽然 这 可 能 是 所 有 食谱 中 最 好 的 一 本 , 但 却 有 两 个 小 问题 。 第 一 ， 所 有 的 食谱 是 乱 序 的 , 第 























中 思想 实验 即 在 现实 中 未 做 到 的 ， 使 用 想象 力 进 行 的 实验 。 一 一 译 者 注 
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3475 页 是 Australian Braised Duck， 而 第 2 页 则 是 Zacatecan Tacos。 

这 还 不 是 很 要 紧 ， 关 键 问 题 是 这 本 食谱 没有 索引 1 

下 面 是 你 要 问 自己 的 第 一 个 问题 ， 没有 索引 ， 如 何在 The Cookbook Omega 中 找到 Rosemary 
Potatoes? 唯一 的 选择 是 一 页 页 翻 过 去 ， 直 到 找到 为 止 。 如 果 它 在 第 3973 页 ， 你 得 要 翻 多 少 页 啊 1 
最 坏 的 情况 下 ， 假 设 它 在 最 后 一 页 ， 你 需要 把 整 本 书 都 翻 一 过 ! 

这 真 令 人 抓 福 ， 解 决 方案 就 是 构建 一 个 索引 |。 

你 可 以 想到 多 种 食谱 查找 方法 ,其 中 食谱 的 名 学 可 能 是 个 不 错 的 起 点 。 如 果 建 立 一 个 按 字母 
排列 的 食谱 名 称 列表 ,随后 是 其 所 在 页 码 ， 那么 就 按 食谱 名 称 对 本 书 建立 索引 了 。 其 中 的 条 目 可 
能 是 下 面 这 样 的 : 

m Tibetan Yak Soufflé: 45 

@ Toasted Sesame Dumplings: 4,011 

四 Turkey ala King: 943 

只 要 知道 食谱 名 字 ( 哪怕 只 是 名 字 的 开头 几 个 字母 )， 就 能 通过 该 索引 快速 找到 书 中 的 任意 
食谱 。 如 末 你 只 希望 按照 这 种 方式 来 检索 食谱 ， 那 就 已 经 完事 了 了。 

但 这 是 不 现实 的 。 比 方 说 ,你 还 会 希望 根据 储藏 室 里 的 食材 查找 食谱 , 或 者 是 根据 末 肴 来 进 
行 查找 。 人 针对 这 些 情况 ， 你 需要 更 多 的 索引 。 

这 就 产生 了 第 二 个 问题 。 只 有 一 个 基于 食谱 名 称 的 索引 , 如 何 才 能 找到 所 有 的 鸡肉 (chicken ) 
相关 的 食谱 呢 ? 缺少 合适 的 索引 , 你 仍然 需要 翻阅 整 本 食谱 一 一 5000 页 。 在 根据 食材 或 者 菜肴 进 
行 检 索 时 都 是 如 此 。 

为 此 ， 你 需要 构建 另 一 个 索引 ,这 次 是 对 食材 进行 索引 。 在 这 个 索引 里 ， 按 字母 顺序 排列 食 
每 个 食材 都 指 回 所 有 包含 它 的 食谱 所 在 的 页 码 。 最 基本 的 食材 索引 是 这 样 的 : 

四 (ashews: 3, 20, 42, 88, 103, 1,215... 

四 Cauliflower: 2, 47, 88, 89, 90, 275... 

@ Chicken: 7,9, 80, 81, 82, 83, 84... 

Currants: 1,001, 1,050, 2,000, 2,133... 

这 是 你 所 和 希望 的 索引 吗 ? 是 不 是 很 有 用 ? 

如 条 只 是 需要 指定 食材 的 食谱 清单 , 这 个 索引 就 够 用 了 。 但 如 有 果 还 希望 在 查找 时 包含 任意 其 
他 与 食谱 相关 的 信息 ， 还 是 要 进行 “扫描 ”一 一 一 旦 知道 采花 (cauliflower ) 的 页 码 ， 你 要 翻 到 
每 一 页 找到 食谱 的 名 字 以 及 亲 葫 类 型 。 这 比 翻 遍 整 本 书 要 好 ， 但 还 远 远 不 够 。 

例如 ， 几 个 月 前 ， 你 无 意 间 在 7Ze Cookbook Omega 里 发 现 了 一 个 很 梭 的 鸡肉 料理 食谱 ,但 却 
忘 了 它 的 名 字 。 目 前 为 止 ， 有 两 个 索引 ， 一 个 是 食谱 名 称 的 索引 ， 另 一 个 是 食材 的 索引 。 是 否 能 
将 两 者 结合 起 来 ， 找 到 被 你 遗忘 的 鸡肉 食谱 呢 ? 

实际 上 ,这 是 不 可 能 的 。 如 采 从 食谱 名 称 的 索引 入 手 , 但 却 不 记得 名 字 ， 检索 这 个 索引 只 比 
翻阅 全 书 好 一 点 。 从 食材 入 手 ， 则 需要 检查 一 系列 页 码 , 但 这 些 页 码 无 法 搬入 基于 食谱 名 称 的 索 
引 。 因 此 ， 这 种 情况 下 只 能 使 用 一 个 索引 ， 本 例 中 食材 的 索引 更 有 用 一 些 。 
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每 个 查询 一 个 索引 
用 户 通常 认为 一 个 查询 里 要 查找 两 个 字段 ， 可 以 针对 它们 分 离 索 引 。 有 一 个 现成 的 算法 : 
查找 每 个 索引 里 匹配 项 的 页 码 , 针对 同时 匹配 两 个 索引 的 食谱 扫描 它们 页 码 的 并 集 。 会 有 不 少 
匹配 不 上 的 页 码 , 但 还 是 能 减少 扫描 的 总 数 。 一些 数据 库 实现 了 这 个 算法 , 但 MongoDB 没 有 。 
就 算 它 实现 了 ,使 用 复合 索引 来 查找 两 个 字段 总 是 会 比 我 刚才 描述 的 算法 效率 更 高 。 请 记 住 ， 
每 个 查询 中 数据 库 只 会 使 用 一 个 索引 ， 如 果 要 对 多 个 字段 进行 查询 ,请 确保 有 这 些 字段 的 复合 
索引 。 





那 该 怎么 办 ?入 好 ， 我 们 有 应 对 之 道 ， 答 案 在 于 使 用 复合 索引 。 

到 目前 为 止 你 所 建立 的 是 单 键 索 引 : 它们 都 只 对 食谱 的 一 个 键 进行 索引 。 现 在 要 为 The 
Cookbook Omega 构建 一 个 新 的 索引 ， 不 同 之 处 是 这 次 要 使 用 两 个 键 。 类 似 的 使 用 多 个 键 的 索引 
称 为 复合 索引 ( compound index )。 

该 复合 索引 依次 使 用 了 食材 与 食谱 名 称 。 可 以 这 样 来 标记 它 : ijngredient-name。 其 中 的 
部 分 内 容 如 图 7-1 所 示 。 








Cashews 
Cashew Marinade 
1,215 
Chicken with Cashews 
88 
Rosemary-Roasted Cashews 
103 


Cauliflower 
Bacon Cauliflower Salad 
875 
Lemon-baked Cauliflower 
89 


Spicy Cauliflower Cheese Soup 


47 


Currants 
Creamed Scones with Currants 
2,000 
Fettuccini with Glazed Duck 
2,133 
Saffron Rice with Currants 
1,050 








图 7-1 食谱 中 的 复合 索引 
这 个 索引 的 值 对 人 而 言 是 显而易见 的 ,现在 你 可 以 根据 食材 进行 查找 ,大 致 定位 要 找 的 食谱 ， 
哪 介 只 记得 名 称 的 开头 部 分 。 对 机 需 而 言 ， 它 同样 很 有 价值 ,不 用 扫描 拥有 该 食材 的 全 部 食谱 名 
称 了 。 如 果 有 几 百 个 (或 者 几 千 个 ) 鸡肉 料理 食谱 ， 就 像 The Cookbook Omega 一 样 ， 该 复合 索引 
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尤其 有 用 。 你 知道 是 为 什么 吗 ? 

请 注意 一 点 : 复合 索引 中 的 顺序 是 很 有 讲究 的 。 假 设 将 上 述 索 引 翻转 为 name-ingredient， 
它 能 替代 我 们 之 前 用 的 复合 索引 吗 ? 

明显 不 能 ! 使 用 新 索引 ， 只 要 知道 名 称 ,搜索 就 一 定 会 定位 到 一 个 食谱 ， 书 中 的 一 页 。 如 果 
是 要 查找 含有 和 理 仿 (banana ) 食材 的 Cashew Marinade 食 谱 ， 那 么 它 就 能 确定 不 存在 这 个 食谱 。 但 
现实 情况 恰恰 相反 : 你 知道 食材 ， 却 不 知道 名 称 。 

The Cookbook Omega 现在 有 三 个 索引 : recipe (食谱 )、ingredient (食材 ) 和 
ingredient-name (食材 -食谱 名 称 )。 也 就 是 说 可 以 安全 地 去 挥 ingredient 这 个 单 键 索引 本 。 
为 什么 ”因为 对 某 一 食材 的 检索 可 以 使 用 ingredient-name。 如 果 你 知道 食材 ， 可 以 遍历 该 复 
合 索 引 ， 获 得 包含 它 的 食谱 的 页 码 列 表 。 再 仔细 看 看 该 索引 的 示例 ， 想 想 其 中 的 原因 。 

本 节 的 目的 是 为 那些 需要 对 索引 有 更 进一步 认识 的 读者 提供 一 个 隐喻 。 从 中 , 你 能 认识 到 一 
些 简 单 的 经 验 法 则 ， 如 下 。 

(1) 索引 能 显著 减少 获取 文档 所 需 的 工作 量 。 没 有 合适 的 和 索引， 实现 查 询 的 唯一 途径 就 是 线 
性 扫描 整个 文档 ， 直 到 满足 查询 条 件 为 止 。 这 通常 就 是 扫描 整个 集合 。 

(2) 解析 查询 时 只 会 使 用 一 个 单 键 索引 。" 对 于 包含 多 个 键 ( 比如 食材 和 食谱 名 称 ) 的 查询 ， 
包含 这 些 键 的 复合 索引 能 更 好 地 解析 查询 。 

(3) 如 果 有 ingredient-cuisine (食材 -菜肴 ) 索引 ， 可 以 去 抒 ingredqient 索 引 ， 也 应 该 
这 么 做 。 更 抽象 一 点 ， 如 果 有 一 个 a-b 的 复合 索引 ， 那 么 仅 针对 a 的 索引 就 是 元 余 的 。” 

(4) 复合 索引 里 键 的 顺序 是 很 重要 的 。 

请 记 住 ， 这 个 比喻 只 能 用 到 这 一 步 。 它 是 用 来 理解 索引 的 一 个 模型 ， 并 不 等 于 MongoDB 
中 索引 的 工作 方式 。 下 一 节 里 ， 我 们 会 详细 说 明 刚 列 出 的 几 点 内 容 ， 仔 细 探 究 MongoDB 里 的 
索引 。 



























































7.1.2 ”核心 索引 概念 


上 一 节 讲 到 了 很 多 核心 索引 概念 ， 本 节 和 本 章 剩 下 的 部 分 会 对 它们 做 详细 说 明 。 

1. 单 键 索引 

单 键 索引 中 的 每 一 项 都 对 应 了 被 索引 文档 里 的 一 个 值 。 默 认 的 _id 索 引 就 是 一 个 很 好 的 例 
子 ， 由 于 这 个 字段 上 有 有 索引， 可 以 根据 它 快 速 地 获取 文档 。 

2. 复合 键 索引 

到 目前 为 止 , MongoDB 中 每 个 查询 就 使 用 一 个 索引 。“ 但 是 你 经 常 需要 对 多 个 属性 进行 查询 ， 
希望 这 些 查 询 能 尽 可 能 高 效 一 点 。 例 如 ,假设 你 在 本 书 电子 商务 示例 的 prodqucts 集 合 上 构建 了 

















中 使 用 $or 操 作 符 的 查询 是 个 例外 。 但 通常 情况 下 ， 只 能 使 用 一 个 索引 ，MongoDB 也 更 倾向 于 此 。 

G@ 也 有 例外 情况 。 如 果 pP 是 一 个 多 键 索 引 ， 同 时 拥有 a-b 和 aa 索引 还 是 有 意义 的 。 

@) 偶尔 也 有 例外 。 举 例 来 说 ， 带 有 $or 的 查询 里 ， 每 个 $Sor 查 询 的 子 句 都 能 使 用 不 同 的 索引 ， 但 每 个 子 句 本 身 只 能 
使 用 一 个 索引 。 
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两 个 索引 : 一 个 基于 manufacturer (制造 商 ) 字段 ， 男 一 个 基于 price (价格 ) 字段 。 如 此 一 
来 ， 你 创建 了 两 个 截然 不 同 的 数据 结构 ， 在 遍历 时 的 顺序 如 图 7-2 所 示 。 











制造 商 与 磁盘 位 置 售 价 与 磁盘 位 置 
图 7-2 单 键 索引 遍历 


现在 ， 假 设 查询 是 这 样 的 : 
db.products.find({'details.manufacturer': 'Acme', 
"OiCING Saale {Slt. 797500}Y) 


这 条 查询 的 意思 是 找到 所 有 Acme 生 产 的 售 价 低 于 75.00 美 元 的 产品 。 如 果 使 用 manufacturer 
或 者 price 字 段 上 的 单 键 索 引发 起 查询 ,那么 只 能 用 上 其 中 的 一 个 索引 。 查 询 优化 天 会 选择 两 者 
中 更 高 效 的 那个 ,但 都 无 法 给 出 理想 的 结果 。 要 用 这 些 驼 引 满足 查询 ， 必 须 分 别 遍 历 这 两 个 数据 
结构 ， 抓 取 匹 配 数 据 的 磁盘 位 置 ， 再 计算 它们 的 并 集 。MongoDB 目 前 并 不 文 持 这 种 做 法 ， 因 为 
此 时 使 用 复合 索引 效率 更 高 。 

复合 索引 就 是 每 一 项 都 由 多 个 键 组 合 而 成 的 索引 。 如 果 要 构建 一 个 基于 manufacturer 和 
price 的 复合 键 索 引 ， 排 序 后 的 表示 如 图 7-3 所 示 。 


制造 商 与 价格 ， 以 及 磁盘 位 置 
图 7-3 ”复合 键 索 引 遍 万 


要 实现 你 的 查询 ， 碍 询 优化 郑 只 需 找到 索引 里 第 一 条 制造 商 是 Acme、 价 格 是 75.00 美 元 的 
索引 项 。 随 后 傈 单 地 扫描 连续 的 索引 项 ， 当 制造 商 不 册 是 Acme 时 停止 。 这 样 承 能 取 到 得 询 续 
末了 。 

结合 使 用 索引 和 查询 时 ， 有 两 件 事 需 要 注意 。 第 一 ,在 索引 里 键 的 顺序 很 重要 。 如 果 声 明了 
一 个 复合 索引 ，, 价格 是 第 一 个 键 , 制造 商 位 于 其 后 , 那么 查询 效率 很 差 。 很 难 想 通 吗 ? 看 看 图 7-4 
里 此 类 索引 的 结构 吧 。 
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价格 与 制造 商 ， 以 及 磁盘 位 置 
图 7-4” 键 顺序 相反 的 复合 索引 








必须 按照 键 的 出 现 顺序 进行 比较 。 很 遗憾 ， 这 个 索引 没 办 法 轻松 地 跳 至 所 有 Acme 产 品 ， 因 
此 实现 之 前 那 条 查询 的 唯一 办 法 是 查看 每 件 价格 小 于 75.00 美 元 的 产品 ， 然 后 只 取出 Acme 制 造 的 
产品 。 为 了 便于 理解 ， 假 设 你 的 集合 里 有 100 万 个 产品 ， 价 格 都 低 于 100.00 美 元 ， 按 价格 均匀 分 
布 。 在 这 种 情况 下 ， 执 行 该 查询 要 扫描 750 000 个 索引 项 。 相 比 之 下 ， 使 用 原来 的 复合 索引 ， 即 
制造 商 在 价格 之 前 ， 扫 描 的 索引 项 数量 就 等 于 要 返回 的 索引 项 数量 。 这 是 因为 一 旦 找到 Acme - 
7500 这 一 项 ， 剩 下 的 就 是 简单 的 顺序 扫描 了 。 

因此 , 在 复合 索引 里 键 的 顺序 很 重要 。 清 楚 了 这 一 点 之 后 ,第 二 件 要 明白 的 事情 是 为 什么 选 
择 这 样 的 顺序 。 从 图 里 看 还 是 很 明显 的 , 但 还 可 以 换个 方式 来 看 这 个 问题 。 再 仔细 看 下 查询 : 有 
两 个 查询 项 指定 了 不 同 的 匹配 类 型 。 在 制造 商 字 段 上 , 希望 精确 匹配 一 项 ; 但 在 价格 字段 上 , 希 
望 匹 配 一 个 值 范 围 ， 从 7500 开 始 。 一 般 来 说 ， 一 个 查询 里 有 一 项 要 精确 匹配 ， 另 一 项 指定 了 一 个 
范围 , 在 使 用 复合 索引 时 ， 范 围 匹 配 的 那个 键 放 在 第 二 个 位 置 上 。 在 查询 优化 的 章节 里 我 们 还 会 
看 到 这 条 规则 。 

3. 索引 效率 

索引 对 良好 的 查询 性 能 来 说 是 必 不 可 少 的 , 但 每 个 新 索引 都 会 带 来 一 些小 的 维护 成 本 。 其 原 
因 是 显而易见 的 ,每 当 向 集合 添加 文档 时 ， 都 必须 修改 集合 上 的 所 有 索引 ， 以 加 入 新 的 文档 。 因 
此 ， 如 果 一 个 集合 上 有 10 个 索引 ， 每 次 插 人 时 就 都 要 做 10 次 独立 的 结构 修改 。 对 于 所 有 写 操作 都 
是 如 此 ， 无 论 是 删除 文档 还 是 更 新 指定 文档 的 索引 键 。 

对 于 该 密集 型 应 用 而 言 , 索引 的 成 本 一 般 都 是 合理 的 , 你 只 要 认识 到 索引 还 是 会 引入 一 定 开 
销 ， 必 须 谨 慎 选 择 即 可 。 这 意味 着 确保 所 有 索引 都 被 用 到 ,没有 一 个 索引 是 多 余 的 。 可 以 在 剖析 
应 用 程序 的 查询 时 部 分 落实 这 项 工作 ， 我 会 在 本 章 的 后 续 内 容 里 描述 这 个 过 程 。 

此 处 还 有 另 一 个 问题 需要 考虑 : 就 算 拥 有 正确 的 索引 ,还 是 有 可 能 得 不 到 快速 的 查询 ,索引 
和 数据 集 无 法 全 部 放 和 人 内 存 时 就 会 发 生 这 种 情况 。 

回想 第 1 章 ，MongoDB 使 用 mmap () 系统 调用 告诉 操作 系统 将 所 有 数据 文件 映射 到 内 存 里 。 
基于 这 点 ,操作 系统 会 按照 名 为 页 (page ) 的 4KB 块 "将 数据 文件 换 人 换 出 内 存 ， 包含 所 有 文档 、 
集合 与 索引 。 在 请 求 指定 页 的 数据 时 ,操作 系统 必须 保证 该 页 在 内 存 里 。 如 果 不 在 ,会 殷 出 页 错 
误 (page fault ) 异常 ， 告 诉 内 存 管理 吉 从 磁盘 上 把 页 加 载 到 内 存 里 。 













































































(D4KB 的 页 大 小 是 标准 值 ， 但 并 非 普 遍 适 用 。 
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有 了 充足 的 内 存 , 所 有 使 用 中 的 数据 文件 最 终 都 会 被 加 载 到 内 存 里 。 当 那 块 内 存 发 生 改 变 时 ， 
比如 执行 写 操作 时 ,那些 改变 会 被 操作 系统 异步 地 刷 到 磁盘 上 ,而 号 操作 很 快 , 是 下 接 发 生 在 内 
存 里 的 。 数 据 完 全 逆 和 内 存 是 最 为 理想 的 状态 ， 因 为 磁盘 访问 的 数量 会 降 到 最 低 程 度 。 但 如 果 使 
用 中 的 数据 集 无 法 全 部 寂 入 内 存 ， 就 该 出 现 页 错误 了 。 也 就 是 说 操作 系统 会 频 蚂 访问 磁盘 ， 大 大 
减缓 读 写 操作 。 最 坏 的 情况 下 ,数据 大 小 远 远 大 于 可 用 内 存 ， 这 时 任何 读 写 操作 的 数据 部 必须 到 
位 盘 上 做 页 交换 。 这 种 情况 称 为 颠 徐 ( thrashing )， 会 导致 性 能 严重 下 滑 。 

还 好 这 种 情况 相对 容易 避免 。 最 起 码 要 保证 索引 都 能 放 和 内存 ; 对 于 为 何 避免 创建 无 用 索引 
如 此 重要 , 这 就 是 原因 之 一 。 拥 有 额外 的 索引 ,就 会 要 求 更 多 的 内 存 来 维护 那些 索引 。 辐 样 道理 ， 
每 个 索引 应 该 只 包含 它 需 要 的 键 : 有 时 会 用 到 三 键 复合 索引 , 但 请 注意 它 要 比 简单 的 单 键 索 引 占 
用 更 多 的 空间 。 

理想 情况 下 ,索引 和 使 用 中 的 数据 集 都 能 放 入 内 存 。 但 评估 部 普 时 需要 有 和 多少 内 存 并 非 易 事 。 
你 可 以 通过 查看 stats 命 令 的 结果 来 了 解 总 的 索引 大 小 。 但 要 找到 工作 集 ( working set ) 大 小 却 
没 这 么 容易 ， 因 为 每 个 应 用 程序 都 不 一 样 。 工 作 集 通常 是 查 启 与 更 新 的 全 部 数据 的 子 集 。 举 例 来 
说 ,假设 你 有 100 万 用 户 ， 只 有 一 半 是 活路 用户， 那么 工作 集束 是 用 户 集 合 的 一 半 大 小 。 如 来 全 
部 都 是 活路 用户 ， 那 么 工作 集 就 等 于 整个 数据 集 。 

在 第 10 革 , 我 们 会 重 温 工作 集 的 概念 , 了 解 诊断 便 件 相关 性 能 问题 的 具体 手段 。 就 目前 而 言 ， 
只 需 知道 汶 加 新 索引 有 浴 在 的 成 本 , 关注 索引 与 工作 集 大 小 与 内 存 的 比 计 , 这 能 带 你 在 数据 增长 
时 维护 民 好 的 性 能 。 




































































7.1.3”B 树 


前 文 提 到 过 ，MongoDB 内 部 使 用 B 树 来 表示 索引 。B 树 无 处 不 在 〈 见 http:/mng.bz/wQfG )， 
至 少 从 20 世 纪 70 年 代 后 期 开始 就 流行 于 数据 库 记 录 和 索引 中 。" 如 果 你 使 用 过 其 他 数据 库 系统 ， 
那么 可 能 已 经 熟知 使 用 B 树 的 各 种 情况 了 。 这 很 好 ， 你 可 以 将 之 前 的 大 多 数 索 引 相 关 的 知识 有 效 
地 利用 起 来 。 如 果 不 太 了 解 B 树 ， 也 没关系 ， 本 市 将 介绍 与 使 用 MongoDB 最 为 相关 的 概念 。 

B 树 有 两 个 显 车 特点， 并 因此 成 为 了 数据 库 索 引 的 理想 选择 。 第 一 ， 它 们 能 用 于 多 种 查询 ， 
包括 精确 匹配 、 范 围 条 件 、 排 序 、 前 缀 匹配 和 仅 用 索引 的 查询 。 第 二 ， 在 添加 和 删除 键 的 时 候 ， 
它们 仍 能 保持 平衡 。 

我 们 会 看 到 一 棵 简单 的 B 树 ， 讨 论 一 些 应 该 牢记 在 心 的 原则 。 想 象 有 一 个 用 户 的 集合 ， 在 姓 
氏 (lastname ) 和 年 龄 (age ) 字段 上 创建 了 一 个 复合 索引 。" 结果 B 树 的 抽象 表述 可 能 是 图 7-5 这 
样 的 。 

你 一 定 已 经 猪 到 了 ，B 树 是 一 个 树 型 数据 结构 。 树 中 的 每 一 个 节点 都 能 包含 多 个 键 。 在 示例 
中 ， 根 节点 包含 两 个 键 ， 每 个 都 以 BSON 对 象 的 形式 来 表示 users 集 合 中 被 索引 的 值 。 在 读 取 了 
根 节 点 的 内 容 之 后 , 你 能 看 到 两 个 文档 的 键 , 分 别 表示 姓氏 Edwards 和 Perry, 年 龄 是 21 岁 和 18 岁 。 





























Q) MongoDB 中 B 树 仅 用 于 索引 ; 集合 存储 为 双向 列表 (doubly-linked list )。 
Go 在 姓氏 与 年 龄 上 创建 索引 有 点 牵强 ， 但 却 能 很 好 地 阐明 一 些 概念 。 
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每 个 键 都 包含 了 两 个 指针 : 一 个 指 疝 它 所 属 的 数据 文件 ， 为 一 个 指向 子 凶 点 。 此 外 ,市 点 日 己 还 
指 问 为 一 个 市 点 ， 其 值 小 于 本 市 点 的 最 小 值 。 


中 ["Edwards", 21||["Perry", 18| |(Preallocated space) 














Bucket 
["Adams", 17]| ["Banks", 27] | (Preallocated space) ["Richards", 191|"Ryan", 20]|(Empty) 
Bucket Bucket 
["Grant"”, 19| |["Morton", 271| (Preallocated space) 
Bucket 


图 7-5”B 树 结构 示例 


有 件 事 情 害 要 注意 ， 每 个 市 点 部 有 一 些 留 空 的 空间 (不 是 用 来 伸缩 的 )。 在 MongoDB 的 B 树 
实现 里 , 新 市 点 会 被 分 配 8192 字 广 ， 也 就 是 说 实际 上 每 个 三 点 必 能 包含 数 百 个 键 。 这 取决 于 索引 
键 的 平均 大 小 ; 本 例 中 ,平均 键 大 小 可 能 在 30 子 市 左右 。MongoDB v2.0 里 键 最 大 可 以 是 1024 字 
节 。 每 个 键 有 额外 的 18 字 节 ， 每 个 节点 再 多 40 字 节 ， 其 结果 就 是 每 个 节点 能 容纳 170 个 键 "。 

这 很 有 关系 ， 因 为 用 户 经 常 想 知 道 为 什么 索引 是 这 个 大 小 。 你 现在 知道 了 每 个 市 点 是 8 KB， 
可 以 售 算出 每 个 市 点 能 容纳 多 少 键 。 计 算 时 ， 请 牢记 : 在 默认 情况 下 ，B 树 节操 的 内 容 通 第 有 意 
维持 在 60% 左 右 。 

如 拉 理 解 了 上 述 内 容 ， 除 了 这 个 粗略 的 B 树 心 吞 模型 ， 你 还 应 该 记 住 一 些 东 西 ， 例 如 索引 是 
如 何 使 用 空间 及 如 何 进 行 维护 的 : 再 提醒 一 下 ， 寺 引 是 有 代价 的 。 请 谨慎 选择 索引 。 


7.2 索引 实践 


了 解 了 这 么 多 理论 之 后 ， 现 在 来 细 化 一 下 MongoDB 中 索引 的 概念 。 然 后 ， 我 们 将 深入 讨论 
索引 管理 的 一 些 细节 。 





























7.2.1 索引 类 型 


MongoDB 中 的 所 有 索引 底层 都 使 用 相同 的 数据 结构 ， 但 可 以 有 很 多 不 同 的 属性 。 尤 其 是 唯 
一 性 索引 、 稀 玻 索 引 和 多 键 索 引 ， 它 们 都 很 党 用 ， 本 闻 会 详细 介绍 它们 。” 

1. 唯一 性 索引 

要 创建 唯一 性 索引 ， 设置 unique 选 项 即 可 : 


db.users.ensureIndex({username: 1}, {unique: true}) 





@ (8192 - 40)/ (30 + 18) = 169.8。 
@) 注意 ，MongoDB 还 支持 空间 索引 ， 但 因为 它 的 用 途 太 专业 了 ， 我 会 在 附录 E 中 单独 进行 说 明 。 
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唯一 性 索引 保证 了 集合 中 所 有 有 索引 项 的 唯一 性 。 如 果 要 癌 本 书 示 例 应 用 程序 的 用 户 集合 
users 捅 入 一 个 文档 ， 其 中 的 用 户 名 已 经 被 索引 过 了 ,那么 插入 会 失败 ， 抛 出 如 下 异常 : 


E11000 duplicate key error index: 











gardening.users. Susername 1 dup key: { : "kbanker" } 

如 果 使 用 驱动 ， 那 么 只 有 在 使 用 驱动 的 安全 模式 执行 插入 时 才 会 捕获 该 异常 。 第 3 章 中 有 对 
此 的 相关 讨论 。 

如 果 集 合 上 需要 唯一 性 索引 , 通常 在 插入 数据 前 先 创 建 索 引 会 比较 好 。 提 前 创建 索引 ， 能 在 
一 开始 就 保证 唯一 性 约束 。 在 已 经 包含 数据 的 集合 上 创建 唯一 性 索引 时 ,会 有 失败 的 风险 ， 因 为 
集合 里 可 能 已 经 存在 重复 的 键 了 。 存 在 重复 键 时 ， 创 建 索 引 会 失败 。 

如 果真 有 需要 在 一 个 已 经 建 好 的 集合 上 创建 唯一 性 索引 ， 你 有 几 个 选择 。 首 先是 不 停 地 重复 
创建 唯一 性 索引 ， 根 据 失败 消息 手动 删除 包含 重复 键 的 文档 。 如 果 数 据 不 重要 ， 还 可 以 通过 
dropDups 选 项 告诉 数据 库 目 动 删 除 包 含 重 复 键 的 文档 。 举 个 例子 ， 如 果 用 户 集合 users 里 已 经 
有 数据 了 ， 而 且 你 并 不 介意 删除 包含 重复 键 的 文档 ， 可 以 像 下 面 这 样 发 起 索引 创建 命令 : 

db.users.ensureIndex({username: 1}，{funiaue: true, dropDups: true] 

请 注意 ， 要 保留 哪个 重复 键 的 文档 是 不 确定 的 ， 因 此 在 使 用 时 要 特别 小 心 。 

2. 稀疏 索引 

索引 默认 都 是 密集 型 的 。 也 就 是 说 , 在 一 个 有 索引 的 集合 里 , 每 个 文档 都 会 有 对 应 的 索引 项 ， 
哪怕 文档 中 没有 被 索引 键 也 是 如 此 。 例 如， 回想 一 下 电子 商务 数据 模型 里 的 产品 集合 , 假设 你 在 
产品 属性 category_ids 上 构建 了 一 个 索引 。 现在 假设 有 些 产 品 没 有 分 配给 任何 分 类 ， 对 于 每 个 
无 分 类 的 产品 ，category_ids 索 引 中 仍 会 存在 像 这 样 的 一 个 null 项 。 可 以 这 样 查询 nul1 值 : 

db.products.find({category ids: null}) 

在 查询 缺少 分 类 的 所 有 产品 时 ,查询 优 化 硕 仍然 能 使 用 category_iads 上 的 索引 定位 对 应 
产品 。 

但 是 有 两 种 情况 使 用 密集 型 索引 会 不 太 方 便 。 一 种 是 希望 在 并 非 出 现在 集合 所 有 文档 内 的 字 
段 上 增加 唯一 性 索引 时 。 举 例 来 说 ， 你 明确 希望 在 每 个 产品 的 sku 字 段 上 增加 唯一 性 索引 。 但 是 
出 于 某 些 原因 ， 假 设 产 品 在 还 未 分 配 sku 时 就 加 入 系统 了 。 如 果 sku 字 段 上 有 唯一 性 索引 ， 而 你 
布 望 搬入 多 个 没有 sku 的 产品 ， 那 么 第 一 次 捅 和 人 会 成 功 ， 但 后 续 搬 和 都 会 失败 ， 因 为 索引 里 已 经 
存在 一 个 sku 为 nul1l 的 项 了 。 这 种 情况 下 密集 型 索引 并 不 适合 ， 你 所 需要 的 是 稀 芯 索引 (Sparse 
index )。 

在 稀 臣 索引 里 , 只 会 出 现 被 索引 键 有 值 的 文档 。 如 果 想 创建 稀 琉 索引 , 指定 {sparse: true} 
就 可 以 了 。 例 如 ， 可 以 像 下 面 这样 在 sku 上 创建 一 个 唯一 性 稀 玻 索引 : 

db.products.ensureIndex({sku: 1}, {unique: true, sparse: true] 

另 一 种 适用 稀 朴 索引 的 情况 : 集合 中 大 量 文档 都 不 包含 被 索引 键 。 例如, 假设 允许 对 电子 商 
务 网 站 进行 匿名 评论 。 这 种 情况 下 , 半数 评论 都 可 能 缺少 user_id 字 段 , 如 果 那 个 字段 上 有 索引 |， 
那么 该 索引 中 一 半 的 项 都 会 是 aul1。 出 于 两 个 原因 ， 这 种 情况 的 效率 会 很 差 。 第 一 ， 这 会 增加 
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有 索引 的 大 小 。 第 二 ， 在 添加 和 删除 之 null 值 user_igd 字 上 段 的 文档 时 也 要 求 更 新 沦 引 |。 

如 果 很 少 (或 不 会 ) 对 匿名 评论 进行 查询 ， 那 么 可 以 选择 在 user_iaq 上 构建 一 个 稀 玻 索引 。 
设置 sparse 选 项 同样 非常 简单 : 

db.reviews.ensureIndex({user id: 1}, {sparse: true}) 

现在 就 只 有 那些 通过 user_id 和 字段 关联 了 用 户 的 评论 才 会 被 索引 。 

3. 多 键 索 引 

在 之 前 的 几 间 里， 你 已 经 见 过 好 多 索引 字段 的 值 是 数组 的 例子 了 。" 正 是 名 为 多 键 索引 
( multikey index ) 的 东西 让 这 些 成 为 可 能 ， 它 允许 索引 中 的 多 个 条 上 日 指向 相同 文档 。 我 们 可 以 举 
个 简单 的 例子 说 明 一 下 ， 假设 有 一 个 产品 文档 ， 包 含 儿 个 标签 : 

{ name: "Wheelbarrow", 


tage |[ "toOoOLS", voardensno rr Sor 


} 

如 果 在 kags 上 创建 和 索引， 标签 数组 里 的 每 个 值 都 会 出 现在 索引 里 。 也 就 是 说 ， 对 数组 中 任 
意 值 的 查询 都 能 用 索引 来 定位 文档 。 多 键 索 引 背 后 的 理念 是 这 样 的 : 多 个 索引 项 或 键 最 终 指 问 同 
= 全 5 

MongoDB 中 的 多 键 索 引 总 是 处 于 激活 状态 。 被 索引 字段 只 要 包含 数组 ， 每 个 数组 值 都 会 在 
索引 里 有 目 己 的 位 置 。 

合理 使 用 多 键 索 引 是 正确 设计 MongoDB Schema 时 必 不 可 少 的 一 环 ， 这 在 第 4 章 到 第 6 章 的 例 
子 里 已 经 很 明显 了 ; 附录 B 的 设计 模式 部 分 还 会 提供 更 多 的 示例 。 


























7.2.2 索引 管理 


要 在 MongoDB 中 管理 索引 ， 你 现 有 的 知识 可 能 还 稍 有 不 足 。 本 闻 我 们 将 详细 介绍 索引 的 创 
建 和 删除 ， 并 讨论 与 压 紧 (compaction ) 和 备份 相关 的 问题 。 

1. 索引 的 创建 与 删除 

到 目前 为 止 ， 你 已 经 创建 了 很 多 索引 ， 因 此 对 索引 的 创建 语法 应 该 并 不 卫生 。 在 Shell 或 者 所 
选 语言 里 简单 地 调用 索引 创建 辅助 方法 , 会 在 特殊 的 system. indexes 集 合 中 添加 一 个 文档 定义 
新 的 索引 。 

虽然 通常 情况 下 使 用 辅助 方法 创建 索引 会 更 方便 一 些 , 但 也 可 以 手工 插入 一 个 索引 说 明 ( 辅 
助 方法 就 是 这 么 做 的 )。 你 只 需 确 保 指定 了 以 下 这 些 最 起 人 码 的 键 : ns 、key 与 name。ns 是 命名 空 
间 ，key 是 要 索引 的 字段 或 字段 的 组 合 ,， name 是 用 来 指 癌 索引 的 名 字 。 此 处 还 能 指定 一 些 和 额外 选 
项 ， 比 方 说 sparse。 例 如 ， 让 我 们 在 users 集 合 上 创建 一 个 索引 : 


spec = {ns: "green.users", key: {'addresses.7Zip': 1}, name: 'zZip'} 
db.system.indexes.insert (spec, true) 


如 果 插 入 操作 没有 返回 错误 , 那么 索引 就 创建 完毕 了 ,可 以 查询 system. inqexes 集 合 进行 
确认 : 














中 举例 来 说 ， 分 类 ID。 
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db.system.indexes.tftind!() 
{ "_id" : ObjectId("4d2205c4051f853d46447e95"), "ns" : "green.users", 


"key" : { "addresses.2ip" ;1 }, namer % noir, yu s 1 

如 有 果 你 在 使 用 MongoDB v2.0 或 后 续 版 本 , 会 看 到 一 个 额外 的 键 v。 这 个 版 本 字段 能 用 于 未 来 
内 部 索引 格式 的 变更 ， 但 应 用 程序 开发 者 不 用 太 在 意 它 。 

要 删除 索引 , 你 可 能 会 觉得 就 是 删除 system. indexes 里 的 索引 文档 , 但 这 个 操作 是 被 禁止 
的 ， 你 必须 使 用 数据 库 命 令 deleteIndexes 删 除 索 引 。 和 创建 索引 一 样 ， 删 除 索 引 也 有 辅助 方 
法 可 用 ， 如 果 希 望 直接 运行 该 方法 ， 也 没有 问题 。 该 命令 接受 一 个 文档 作为 参数 ， 其 中 包含 集合 
名 称 、 要 删除 的 索引 名 称 或 者 用 * 来 删除 所 有 索引 。 要 手工 删除 刚刚 创建 的 索引 ,使 用 如 下 命令 : 


USe green 
qb .runcommanad ({dqaeleteIndexes: "users", index: "Zip"}) 


























大 多 数 情况 下 ， 只 需 简 单 地 使 用 Shell 里 的 辅助 方法 创建 和 删除 索引 : 


Use green 
db.users.ensureIndex({zZip: 1}) 


然后 可 通过 get IndexSpecs () 方 法 来 检查 索引 说 明 : 


> db.users.getIindexSpecs() 





VV I 
KEy 一 { 
JU 1 
有 
"ns" :; "green.users", 
"name" : " id _" 
J 
SA 1 
REMY 1{ 
z LO" 1 
ay 
"ns" :; "green.users", 
amE % Vz1p 1” 


最 后 ， 可 以 使 用 aropIndex() 方 法 删除 索引 。 请 注意 ， 必 须 提供 上 述 定 义 里 的 索引 名 称 : 


use green 
db.users.dropIndex("zZip_1") 


以 上 是 基本 的 索引 创建 与 删除 ， 想 知道 索引 创建 以 后 该 做 些 什 么 ， 请 往 下 该 。 

2. 索引 的 构建 

大 多 数 时 候 , 你 会 在 把 应 用 程序 正式 投入 使 用 之 前 添加 索引 ,这 允许 随 关 数据 的 插入 增 量 地 
构建 索引 。 但 在 两 种 情况 下 ,你 可 能 会 选择 相反 的 过 程 。 第 一 种 情况 是 在 切换 到 生产 环境 之 前 需 
要 导 人 大 量 数据 。 举 例 来 说 ， 你 想 将 应 用 程序 迁移 到 MongoDB， 需要 从 数据 仓库 导入 用 户 信息 。 
你 可 以 事先 在 用 户 数 据 上 创建 索引 , 但 在 数据 导入 之 后 再 创建 索引 能 从 一 开始 就 保证 理想 的 平衡 
性 和 密集 的 索引 ， 也 能 将 构建 索引 的 净 时 间 降 到 最 低 。 
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第 二 种 ( 更 显而易见 的 ) 情况 发 生 在 为 新 查询 进行 优化 的 时 候 。 

无 论 为 什么 要 创建 新 索引 ， 这 个 过 程 都 很 难 让 人 愉快 起 来 。 对 于 大 数据 集 , 构建 索引 可 能 
花 好 几 个 小 时 ， 甚 至 好 几 天 。 但 你 可 以 从 MongoDB 的 日 志 里 监控 索引 的 构建 过 程 。 来 看 一 个 例 
子 。 先 声明 要 构建 的 索引 : 


db.values.ensureIndex({open: 1, close: 1}) 











声明 索引 时 要 小 心 
由 于 这 个 步骤 太 容易 了 ， 所 以 也 很 容易 在 无 意 间 触发 索引 构建 。 如 果 数 据 集 很 大 ， 构 建 会 
花 很 长 时 间 。 在 生产 环境 里 ， 这 简直 就 是 梦 诈 ， 因 为 没 办 法 中 止 索引 构建 。 如 果 发 生 了 这 种 情 
况 ,你 将 不 得 不 故障 转移 到 从 节点 上 一 一 如 果 有 从 节点 的 话 。 最 明智 的 建议 是 将 索引 构建 当做 
某 类 数据 库 迁 移 来 看 待 ， 确 保 应 用 程序 的 代码 不 会 自动 声明 索引 。 








索引 的 构建 分 为 两 步 。 第 一 步 ， 对 要 索引 的 值 排 序 。 经 过 排序 的 数据 集 在 插入 到 B 树 时 会 更 
高 效 。 注 意 ， 排 序 的 进度 会 以 已 排序 文档 数 和 总 文档 数 的 比率 来 进行 显示 : 
[conn1L] building new index on { open: 1.0, close: 1.0 } for stocks.values 
1000000/4308303 23% 
2000000/4308303 46%® 
3000000/4308303 69% 


4000000/4308303 92% 
Tue Jan 4 09:59:13 [connl] external sort used : 5 files in 55 secs 


第 二 步 ， 排 序 后 的 值 被 插入 索引 中 。 进 度 显示 方式 与 第 一 步 相同 ， 完 成 之 后 ， 完 成 索引 构建 
所 用 的 时 间 会 显示 出 来 ， 作为 插入 system. indexes 的 耗 时 : 


1200300/4308303 27% 
2227900/4308303 51% 
2837100/4308303 65% 
3278100/4308303 76% 
3783300/4308303 87% 
4075500/4308303 94% 
Tue Jan 4 10:00:16 [connl] done building bottom layer, going to commit 
Tue Jan 4 10:00:16 [connl1l] done for 4308303 records 118.942secs 
Tue Jan 4 10:00:16 [ 


除了 查看 MongoDB 的 日 志 ， 还 可 以 通过 Shell 的 currentop () 方 法 检查 构建 索引 的 进度 : ” 


> db.currentoOp() 
{ 
Oo: | 
{ 
06 加 TI 583, 
actavenu :true， 
"lockType" : "write", 











Connl] insert stocks.system.indexes 118942ms 


"waitingForLock" : false, 


Q 注意 ， 如 果 是 在 MongoDB Shell 里 开始 索引 构建 的 ， 则 必须 打开 一 个 新 的 Shell 并 发 地 运行 currentop 。 关 于 
db .currentop () 的 更 多 内 容 ， 详 见 第 10 章 。 
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"secs_ running" : 55, 

OB VINSert,, 

"ns" : "stocks.system.indexes'", 

query ‘ 

}; 

ve Tente .0 27 Oa0 .S32 

Esc -Vaonn,, 

"msg" : "index: (1/3) external sort 3999999/4308303 92%" 


} 
] 
} 


最 后 一 个 字段 msg 描 述 了 构建 进度 。 还 要 注意 1ockType， 它 说 明 索 引 构 建 用 了 写 锁 ， 也 就 
是 说 其 他 客户 问 此 时 无 法 读 写 数据 库 。 如 果 发 生 在 生产 环境 里 ,这 无 疑 是 很 糟糕 的 ， 这 也 是 长 时 
间 索 引 构 建 让 人 抓 狂 的 原因 。 我 们 接 下 来 会 看 到 两 个 可 行 的 解决 方案 。 

@ 后 侣 索引 

如 果 是 在 生产 环境 里 ， 经 不 住 这 样 暂停 数据 库 访 问 的 情况 , 可 以 指定 在 后 台 构 建 索 引 。 虽 然 
索引 构建 仍 会 占用 写 锁 , 但 构建 任务 会 停 下 来 允许 其 他 读 写 操作 访问 数据 库 。 如 果 应 用 程序 大 量 
使 用 MongoDB ， 后 台 索 引 会 降低 性 能 ， 但 在 某 些 情况 下 这 是 可 接受 的 。 例 如 ， 假 设 你 知道 可 以 
在 应 用 程序 流量 最 低 的 时 间 窗 口内 完成 驼 引 的 构建 ， 那 么 这 时 后 台 索 引 会 是 个 不 错 的 选择 。 

要 在 后 台 构 建 索 引 ， 声 明 索 引 时 需要 指定 {background: true}。 可 以 像 下 面 这 样 在 后 人 台 
构建 之 前 的 索引 : 

me 

@ 离线 索引 

如 采 生 产 数 据 集 太 大 ,无 法 在 几 小 时 内 完成 索引 ,这 时 就 需要 其 他 方案 了 。 通常 这 会 涉及 让 
一 个 副本 节点 下 线 , 在 该 节点 上 构建 索引 , 随后 让 其 上 的 数据 与 主 方 点 同步 ,一 旦 完成 数据 同步 ， 
将 该 节点 提升 为 主 世 点 ,再 让 另 一 个 从 节点 下 线 , 构建 它 自己 的 索引 。 该 条 上 略 假设 你 的 复制 oplog 
够 大 ， 能 避免 离线 节点 的 数据 在 索引 构建 过 程 中 变 得 过 旧 。 下 一 草 会 详细 讨论 复制 ,应 该 能 帮 你 
计划 这 样 的 迁移 过 程 。 

3. 备份 

因为 索引 很 难 构建 ， 所 以 你 可 能 会 希望 为 它们 做 备份 ， 可 惜 并 非 所 有 备份 方法 都 包含 索引 。 
举例 来 说 ， 你 可 能 想 使 用 nongodqump 和 mongorestore， 但 这 些 工 具 仅 保 存 了 集合 和 索引 声明 。 
也 就 是 说 ， 当 运行 mongorestore 时 ， 所 备份 的 所 有 集合 上 声明 的 索引 都 会 被 重新 创建 一 届 。 如 
宁 数 据 集 很 大 ， 那 么 构建 索引 所 消耗 的 时 间 也 是 无 法 接受 的 。 

因此 ， 如 有 末 想 要 在 备份 中 包含 索引 ， 需 要 直接 备份 MongoDB 的 数据 文件 。 第 10 草 里 有 更 具 
体 的 讨论 ， 以 及 第 用 的 备份 操作 指南 。 

4. 压 紧 

如 末 应 用 程序 会 大 量 更 新 现 有 数据 ,或 者 执行 很 多 大 规模 删除 , 其 结 采 就 是 索引 的 碎 拨 化 程 
度 很 局 。 虽 说 B 树 会 目 己 合并 ， 但 这 并 非 总 能 抵消 大 量 删除 的 影响 。 雁 上 请 过 多 的 索引 大 小 远 超 你 
对 指定 数据 集 大 小 的 预期 ,也 会 让 索引 使 用 更 多 内 存 。 这 些 情 况 下 ,你 可 能 希望 重建 一 个 或 多 个 
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索引 : 可 以 删除 并 重新 创建 单个 索引 ,或 者 运行 TeIndex 命 令 ( 它 会 重建 指定 集合 上 的 所 有 索引 ): 
db.values.reIndex(); 
在 重建 索引 时 要 小 心 : 在 重建 过 程 中 该 命令 会 占用 写 锁 ， 让 你 的 MongoDB 实 例 暂 时 无 法 使 
用 。 重建 最 好 是 在 线 下 完成 ， 就 像 之 前 提 到 的 在 从 市 点 上 构建 索引 一 样 。 请 注意 第 10 革 里 将 要 介 
绍 的 compact 命 令 ， 它 也 会 重建 集合 上 的 索引 o 


7.3 查询 优化 


查询 优化 是 识别 慢 查 词 、 找 出 它们 为 什么 慢 、 逐 步 让 它们 变 快 的 过 程 。 本 市 里 ,我们 会 依 
次 看 到 查询 优化 过 程 中 的 每 一 步 ， 当 你 读 完 本 市 之 后 ， 基 本 束 能 找 出 MongoDB 里 所 有 的 问题 查 
询 了 。 

在 深入 之 前 , 我 必须 提醒 一 下 ， 本 市 出 现 的 技术 不 能 解决 所 有 查询 的 性 能 问题 。 慢 查 何 的 原 
因 干 柯 百 怪 , 糕 的 应 用 程序 设计 、 不 恰当 的 数据 模型 、 人 硬件 配置 不 够 部 是 常见 的 原因 ， 处理 这 
些 问 题 要 耗费 大 量 时 间 。 此 人 处 我 们 会 看 到 通过 重新 组 织 查 询 以 及 构建 有 效 的 索引 来 进行 优化 的 方 
法 。 我 还 将 介绍 其 他 途径 ， 以 便 你 在 上 述 手 段 不 奏效 时 答 试 一 下 。 
































7.3.1 识别 慢 查 询 


如 果 感 觉 基于 MongoDB 的 应 用 程序 变 慢 了 ， 那 么 就 该 着 手 剖 析 查 询 语 名 了 。 任 何 严 并 的 应 
用 程序 设计 方法 中 都 应 该 包含 对 查询 语句 的 审核 ; 考虑 到 MongoDB 中 这 一 切 都 是 如 此 简单 ， 没 
有 理由 不 这 么 做 。 虽然 每 个 应 用 程序 对 查询 语句 的 要 求 各 有 不 同 , 但 可 以 保守 地 进行 假设 : 对 于 
大 多 数 应 用 而 言 ， 查 询 都 不 该 超过 100 ms。 这 个 假设 被 固化 在 了 MongoDB 的 日 志 里 ， 无 论 什 么 
操作 ( 包括 查询 在 内 )， 只 要 超过 100 ms 就 会 输出 一 条 和 警告。 因此， 要 识别 慢 查询 ， 第 一 时 间 就 
该 看 卓志 

到 目前 为 止 , 我 们 的 数据 集 都 很 小 ,无 法 生成 执行 时 间 超 过 100 ms 的 查询 。 所 以 随后 的 例子 
里 , 我 们 将 使 用 一 组 由 NASDAQ 日 汇总 数据 组 成 的 数据 集 。 如 果 你 也 希望 能 执行 这 些 查 询 , 需要 
将 它们 放 到 本 地 数据 库 里 。 要 导入 它 ， 首 先 从 http://mng.bz/ii49 下 载 压缩 包 ， 然 后 将 其 解压 到 一 
个 临时 文件 夹 里 。 你 将 看 到 如 下 输出 : 


Ss unNnzZip stocks.zZip 


























Archive: stocks.zZip 
creating: dump/stocks/ 
inflating: dump/stocks/system.1indexes.bson 
inflating: dump/stocks/values.bson 


最 后 ， 用 以 下 命令 将 数据 还 原 到 数据 库 里 : 

$ mongorestore -d stocks -cc values dump/stocks 

股票 数据 集 很 大 ， 而 日 方便 使 用 。 针 对 某 个 NASDAQ 上 市 股票 的 子 集 ， 有 从 1983 年 开始 25 
年 的 数据 ， 每 天 一 个 文档 ， 记 录 每 日 的 最 高 价 、 最 低 价 、 收 盘 价 和 成 交 量 。 有 了 如 此 数量 的 集合 
文档 ， 很 容易 就 能 生成 一 条 日 志 警 告 。 试 着 查询 第 一 条 谷歌 股价 : 
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db.values.find({"stock symbol": "GOOG"}) .sort({date: -1}).1imit(1) 
你 会 注意 到 这 条 查询 执行 了 一 段 时 间 。 如 果 查 看 MongoDB 的 日 志 ，,， 会 看 到 预期 中 的 慢 查 询 
和 警告。 下 面 就 是 一 段 示 例 输 出 : 
Thu Nov 16 09:40:26 [conni1l|] gquery stocks.values 
ntoreturn:1] scanAndOrder reslen:210 nscanned:4308303 


{ dquery: { stock symbol: "GOOG" }, orderby: { date: -1.0 } } 
nreturned:1 4011ms 


其 中 包含 大 量 信 息 , 在 讨论 explain () 时 , 我 们 会 研究 其 中 所 有 内 容 的 含义 。 现 在 ， 如 果 仔 
细 阅 谈 这 上 段 消息 ， 应 该 能 抽取 出 最 重要 的 部 分 : 这 是 针对 stocks .values 的 查询 ; 执行 的 查询 
选择 带 包 含 匹 配 stock_symbol 以 及 排序 ; 最 关键 的 可 能 是 这 个 查询 人 花 了 4s (4011 ms ) 之 久 。 

一 定 要 设法 人 处理 这 样 的 警告 。 它 们 太 关 键 了 ， 值 得 你 时 不 时 地 沛 查 MongoDB 的 日 志 。 可 以 
通过 grep 轻 松 实现 沛 查 : 

grep -E '([0-9])+ms' mongod.1og 

如 果 100 ms 的 阅 值 太 高 了 ， 可 以 通过 --slowms 服 务 器 选项 降低 这 个 值 。 要 是 把 慢 查 询 定义 
为 执行 时 间 超 过 50 ms， 那 么 用 --slowms 50 来 启动 mongod。 

当然 ， 饶 查 日 志 还 不 够 彻底 。 你 可 以 通过 日 志 检 查 慢 查询 ， 但 这 个 过 程 太 粗糙 了 ,应 该 将 其 
作为 预 发 布 或 生产 环境 中 的 一 种 “健康 检查 ”。 要 在 那些 慢 查 询 成 为 问题 之 前 识别 它们 ， 你 需要 

-个 更 精确 的 工具 ，MongoDB 内 置 的 查询 训 析 需 正 是 你 所 需要 的 。 

使 用 剖析 器 

要 识别 慢 查 询 ， 离 不 开 MongoDB 内 置 的 谢 析 状 。 放 析 功 能 默认 是 关闭 的 ， 让 我 们 先 把 它 打 
开 。 在 MongoDB Shell 中 ， 输 入 以 下 命令 : 


USe stocks 
db.setProfilingLevel (2) 


先 选 择 要 训 析 的 数据 库 ， 因 为 训 析 总 是 针对 茶 个 特定 数据 库 的 。 随 后 将 训 析 级 别 设置 为 2， 
这 是 最 详细 的 级 别 ; 它 告诉 广 析 兴 将 每 次 的 读 和 写 都 记录 到 日 志 里 。 还 有 一 些 其 他 选项 。 硅 只 要 
记录 慢 ( 100 ms ) 操作 ， 可 以 将 剖析 级 别 设置 为 1。 要 彻底 禁用 剖析 器 ， 将 级 别 设置 为 0(。 如 果 只 
想 在 日 志 里 记录 耗 时 超过 一 定 秒 装 值 的 操作 ， 可 以 像 下 面 这 样 将 蝶 秒 数 作为 第 二 个 参数 : 


USe stocks 
db.setProfilingLevel (1, 50) 


一 旦 开启 了 剂 析 各 ,就 可 以 执行 查询 了 。 让 我 们 再 运行 一 条 对 股票 数据 库 的 查询 ， 找 出 数据 

db.values.find({}) .sort({close: -1}).1imit(1) 

剖析 结果 会 保存 在 一 个 特殊 的 名 为 system.profile 的 固定 集合 里 。 你 是 否 还 记得 , 固定 集 
合 的 大 小 是 确定 的 , 数据 会 像 环 一 样 写 入 其 中 , 一 旦 集合 达到 最 大 尺寸 ,新 文档 会 窗 盖 最 早 的 文 
档 。svstem.profile 被 分 配 了 128KB， 因 此 确保 剂 析 数据 不 会 消耗 太 多 资源 。 

你 可 以 像 查 询 任何 固定 集合 那样 查询 system.profile。 人 举例 来 说 ， 碍 询 所 有 耗 时 超过 
150 ms 的 语句 : 
























































7.3 查询 优化 127 


db.system.profile.find({millis: {S$gt: 150}}) 


为 固定 集合 保持 了 自然 插入 顺序 ， 可 以 用 snatural 操 作 符 进 行 排序 ， 以 便 先 显示 最 近 的 





十 
结 


db.system.profile.find() .sort({Snatural: -1}).1imit(5) 


回 到 刚才 的 查询 场 句 ， 结 果 集 里 应 该 会 有 大 致 这 样 一 条 内 容 : 


{ "te OOTISODatE00 2011=09=220224238 332270)7 

四 闪 几 有 人 OECDUss 

"OUerLY™ 1( VouUery™Y % {EC  }, "orderby tt "olose" » 1] } , 
"ntoreturn" : 1, "nscanned" : 4308303, "scanAndOrder" : true, 
"nreturned" : 1, "responseLength" : 194, "millis" : 14576, 
有 





又 是 一 条 慢 查 询 : 耗 时 将 近 15 s! 除了 执行 时 间 ， 其 中 还 包含 所 有 在 MongoDB 慢 查询 警 告 
出 现 查 询 的 信息 ， 足 人 够 进行 更 深 一 步 的 排查 了 ， 而 下 一 他 里 就 会 讲 到 这 个 话题 。 

但 在 继续 之 前 ， 还 得 再 说 一 些 与 训 析 策略 有 关 的 内 容 。 先 使 用 较 粗 的 设置 ， 然 后 不 断 细 化 ， 
用 这 种 方式 来 使 用 剖析 天 就 挺 不 错 的 。 首 先 保 证 没有 查询 超过 100 ms， 然 后 将 国 值 降低 到 75 ms， 
以 此 类 推 。 开 局 训 析 带 之 后 ， 你 会 想 把 应 用 程序 测 一 和 过， 最 起 码 把 每 个 读 写 操作 都 执行 一 过 。 如 
果 考 虑 的 周到 一 些 ， 就 必须 在 真实 条 件 下 执行 那些 操作 ,数据 大 小 、 查 询 负载 和 硬件 都 应 该 能 代 
表 应 用 程序 的 生产 环境 。 

查询 剖析 融 十 分 有 用 , 但 要 将 它 发 挥 到 极致 ， 你 还 得 有 条 理 。 比 起 生产 环境 ， 最 好 能 在 开发 
过 程 中 找到 慢 查 询 ， 不 然 补救 的 成 本 会 大 很 多 。 


























7.3.2 分 析 慢 查询 


有 了 MongoDB 的 训 析 絮 ， 可 以 很 方便 地 找到 慢 查 询 。 要 知道 这 些 查 询 为 什么 慢 会 更 厅 烦 一 
点 ， 因 为 这 个 过 程 中 可 能 还 要 求 有 点 “侦察 工作 ”。 正 如 前 文 所 述 , 慢 查询 的 原因 是 多 种 多 样 的 。 
走运 的 话 ， 加 个 索引 就 能 解决 慢 查 询 。 在 更 复杂 的 情况 里 ， 可 能 不 得 不 重新 安排 索引 、 重 建 数据 
模型 ， 或 者 升级 便 件 。 但 是 ， 总 是 应 该 先 看 看 最 简单 的 情况 ， 本 就 与 此 相关 。 

最 简单 的 情况 里 ， 问 题 的 根本 原因 是 缺少 索引 、 有 索引 不 当 或 者 查询 不 理想 。 可 以 在 慢 查询 上 
运行 explain 来 确认 原因 。 现 在 ， 让 我 们 来 了 解 下 具体 的 做 法 。 

1. 使 用 并 了 解 ExPLAIN () 

MongoDB 的 explain 命 令 提 供 了 关于 指定 查询 路 径 的 详细 信息 。* 让 我 们 仔细 地 看 一 看 ， 对 
上 一 节 里 运行 的 最 后 一 条 查询 执行 exp1lain 能 收集 到 什么 信息 。 要 在 Shell 中 运行 explain, 只 需 
在 查询 后 附 上 explain () 方 法 调用 : 


db.values.find({}) .sort({close: -1}).1imit(1) .explainl) 
{ 

GuUFsorn "BaelTeCUrsor". 

"nscanned" : 4308303, 

"nscannedObjects" : 4308303 ， 









































QD 可 以 回忆 一 下 我 在 第 2 章 中 介绍 的 explain， 当 时 只 是 简单 地 介绍 。 本 市 我 将 提供 完整 的 命令 说 明 及 其 输出 。 
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Re 
"scanAndOrder" : true, 
"millis 4576: 
"nYields" : 0， 
"nChunkSkips" : 0， 
"indexBounds" : { } 


} 


millis 字 段 指出 该 查询 耗 时 超过 14 s， 其 原因 很 明显 。 请 看 nscanned 的 值 ， 它 表明 查询 引 
擎 必须 扫 撒 4 308 303 个 文档 才能 完成 查询 。 现 在 ， 在 values 集 合 上 运行 count: 


db.values.count() 
4308303 


扫描 的 文档 数 与 集合 中 的 文档 总 数 一 致 , 也 就 是 说 执行 了 一 次 全 集合 扫 摘 。 如果 你 希望 查询 
返回 集合 里 的 全 部 文档 ， 这 倒 不 是 一 件 坏 事 。 但 是 如 果 仪 需 返 回 一 个 文档 ， 正 如 explain 中 的 n 
所 示 , 那 这 就 成 问题 了 。 一 般 来 说 , 希望 n 的 值 与 nscannegd 的 值 尽 可 能 接近 。 在 进行 集合 扫描 时 ， 
情况 往往 不 是 这 样 的 。cursor 字 段 指 明 你 在 使 用 Basiccursor， 这 只 能 说 明 在 扫描 集合 本 刁 而 

scanaAndordetr 字 段 进一步 解释 了 查询 缓慢 的 原因 ， 当 查询 优化 需 无 法 使 用 索引 来 返回 排 
序 结 打 集 时 ， 它 就 会 出 现 。 因 此 ， 本 例 中 不 仅 查 询 引 擎 需要 扫描 集合 ， 还 要 求 手 动 对 结果 集 进 
行 排序 。 

如 此 之 差 的 性 能 是 无 法 接受 的 ， 好 在 应 对 之 道 比 较 人 简单 。 你 只 需要 在 close 字 上 段 上 构建 一 个 
索引 。 现 在 就 动手 ， 然 后 重新 发 起 查询 : ” 


db.values.ensureIndex({close: 1}) 
db.values.find({}) .sort({close: -1}) .1imit(1) .explain() 
{ 

"euUrSor" J"BDtreeCurseor close | reverse,, 

"nscanned" : 1, 

"nscannedObjects" : 1, 

UT 

oT s 记 > 

va Yelee! :0 

"nChunkSkips" : 0, 

"ijndexBounds" : { 
































) 
) 
有 
) 


"SsmaxElement" : 1 


"SsminElement" : 1 


] 
] 
) 
| 


J 注意 ， 索 引 的 构建 可 能 需要 几 分 钟 。 
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差距 太 大 了 ! 这 次 的 查询 处 理 只 用 了 不 到 1 ms。 通 过 cursor 字 段 可 以 看 到 ， 正 在 使 用 名 为 
close_1 的 索引 上 的 BtreeCcursor， 而 且 在 倒序 迭代 索引 。 在 indqexBounds 字 段 里 ， 可 以 看 到 
特殊 全 SmaxElement 和 SminElement， 它 们 说 明 查 询 横 路 了 整个 索引 。 此 时 查询 优化 硕 经 过 B 
树 的 最 右边 才 找 到 最 大 键 ， 然后 再 沿路 返回 。 因 为 限制 了 返回 集 为 1， 在 找到 了 最 大 元 系 后 查询 
就 完成 了 。 当 然 ， 由 于 索引 是 有 序 保存 索引 项 的 ， 就 没有 必要 再 进 行 scanandordaer 所 指定 的 手 
工 排序 了 。 

如 采 在 查询 选择 硕 中 使 用 了 经 过 索引 的 键 ， 就 会 看 到 输出 中 有 些许 不 同 之 处 。 来 看 看 查询 收 
盘 价 大 于 $00 的 查询 语句 的 sxplain 输 出 : 

> db.values.find({close: {S$gt: 500}}) .explLaln 1) 

{ 

EEC se 
"nscanned" : 309, 
"nscannedObjects" : 309, 

WTA 

mie SD., 

"nYields" : 0, 

"nChunkSkips" : 0， 

"ijndexBounds" : f{ 




















elaose .| 
[ 
5:00> 
1.7976931348623157e+308 
] 
] 
} 
} 


扫描 的 文档 数 仍 然 与 返回 的 文档 数 相 同 (n 与 nscanneq 是 一 致 的 ), 这 是 理想 状态 。 请 注意 ， 
在 索引 边界 的 指定 方式 上 ， 此 处 与 前 者 有 所 不 同 。 这 里 没有 使 用 SmaxElement 与 sminElement 
键 ， 边 界 是 实际 值 。 下 限 是 500， 上 限 实 际 是 无 限 大 。 这 些 值 必须 和 正在 查询 的 值 使 用 相同 的 数 
据 类 型 ; 在 查询 的 是 数字 ， 所 以 这 里 的 索引 边界 是 数字 。 如 果 要 查询 一 系列 字符 串 ,， 那 么 边界 就 
是 字符 串 。” 

在 继续 之 前 ， 请 有 自己 在 查询 上 运行 explain ()， 要 注意 n 和 nscanned 之 间 的 不 同 。 

2. MongoDB 的 查询 优化 器 与 hint () 

查询 优化 兹 是 MongoDB 中 的 一 部 分 ， 如 果 存 在 可 用 的 索引 ， 它 会 为 给 定 查 询 选 择 一 个 最 高 
效 的 索引 。 在 为 查询 选择 理想 的 索引 时 ， 碍 询 优 化 融 使 用 了 一 套 相 当 简 单 的 规则 : 

(1) 避免 scanAndorder。 如 果 查 询 中 包含 排序 ， 尝 试 使 用 索引 进行 排序 ; 

(2) 通过 有 效 的 索引 约束 来 满足 所 有 字段 一 一 尝试 对 查询 选择 融 里 的 字段 使 用 索引 ; 

(3) 如 果 查 询 包 含 范围 查找 或 者 排序 ， 那 么 对 于 选择 的 索引 ， 其 中 最 后 用 到 的 键 需 能 满足 该 
范围 查找 或 排序 。 


















































J 如 果 觉 得 这 无 法 理解 ， 请 回忆 一 下 ， 某 个 指定 索引 能 包含 多 种 数据 类 型 的 键 。 因 此 ,查询 结果 总 是 会 被 限制 在 查 
询 所 使 用 的 数据 类 型 中 。 
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如 打 某 个 索引 能 满足 以 上 所 有 这 些 条 件 , 那么 它 就 会 被 视 为 最 佳 索 引 并 也 以 使 用 。 要 是 有 多 
个 最 佳 索引 ， 则 任意 选择 其 一 。 可 以 胆 循 这 条 经 验 : 如 打 能 为 查询 构建 最 优 索 引 ， 碍 询 优化 硕 的 
工作 能 更 轻松 些 。 为 此 ， 请 尽力 而 为 。 

让 我 们 来 看 一 个 查询 ， 它 完全 满足 索引 ( 和 查询 优化 带 ) 回顾 股票 数据 集 ， 假 设 要 执行 如 
下 查询， 获取 所 有 大 于 200 的 谷歌 收盘 价 : 

db.values.find({stock symbol: "GOOG", close: {S$gt: 200}}) 

该 查询 的 最 优 系 引 同 时 包含 这 两 个 键 , 但 其 中 把 close 键 放 在 最 后 以 便 执行 汇 围 查询 : 


db.values.ensureIndex({stock symbol: 1, close: 1}) 


如 条 执 行 查 询 ， 会 看 到 这 两 个 键 都 被 用 到 了 ， 有 索引 边界 也 和 预想 的 一 样 : 
db.values.find({stock symbol: "GOOG", close: {Sgt: 200}}) .explain() 
{ 


























"Cursor" : "BtreeCursor stock symbol 1 close 1", 
"nscanned" : 730, 

"nscannedObjects" : 730, 

an 

Wm [ee ww 

"nYields" : 0, 

nChnankekiBer 0 

"ijsMultiKkey" : false, 

"ijndexOonly" : false, 

"jndexBounds" : { 


"stock symbol" : | 
[ 
"GOOG", 
"GOOG" 
] 
je 
ESse 二 :本 
[ 
200 ， 
1.7976931348623157e+308 


} 
} 
这 是 本 条 查询 的 最 优 explain 输 出 : non 与 nscanneq 的 值 相 同 。 现 在 上 绸 来 考虑 一 下 没有 索引 能 
完美 运用 于 查询 之 上 的 情况 。 例 如 ， 没 有 {stock_symbol: 1，close: 1} 索 引 , 但 是 在 那 两 
个 字段 上 分 别 建 有 索引 。 通 过 getIndqexKevs () 列 出 索引 ， 会 看 到 : 


db.values.getIindexKeys ( ) 
[和 证: 


因为 查询 中 同时 包含 stock_svymbo1 和 close 两 个 键 ， 没 有 很 明显 的 索引 可 用 。 这 时 驶 该 可 
询 优化 硕 出 已 了 它 所 用 的 试探 方式 比 想象 的 要 简单 得 多 ， 完全 基于 nscanned 的 值 。 换言之 ， 
优化 硕 会 选择 扫 摘 索引 项 最 少 的 索引 。 查 询 首 次 运行 时 , 优化 硕 会 为 每 个 可 能 有 歼 适 用 于 该 查询 
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的 索引 创建 查询 计划 ， 随 后 并 行 运行 各 个 计划 ", nscanned 值 最 低 的 计划 胜出 。 优 化 器 会 停止 那 
些 长 时 间 运 行 的 计划 ， 将 胜出 的 计划 保存 在 来 ， 以 便 后 续 使 用 。 

你 可 以 发 起 查询 并 运行 sxplain () 来 查看 实际 的 过 程 ,首先 ,删除 复合 索引 {stock_symbo1: 
1，close: 1}， 在 这 些 键 上 构建 单独 的 索引 : 


db.values.dropIndex("stock Symbol 1 close 1") 
db.values.ensurelindex({stock symbol: 1}) 
db.values.ensurelindex({close: 1}) 


将 true 作 为 参数 传递 给 explain() 方 法 , 这 能 将 查询 优化 需 尝 试 的 计划 列表 包含 在 输出 里 。 
输出 见 代码 清单 7-1。 


代码 清单 7-1 用 explain (true) 查看 查询 计划 
db.values.find({stock symbol: "GOOG", close: {Sgt: 200}}) .explain (true) 
{ 





"CUursor" : "BtreeCursor stock symbol_1", 
"nscanned" : 894, 

"nscannedObjects" : 894, 

WI Oa 

nm Te 

"nYijelds" : 0, 

"nChunkSkips" : 0, 

"ijsMultiKey" : false, 

"indexOonly" : false, 

"jndexBounds" : { 


"stock _ symbol" : | 
[ 
"GOOG", 
"GOOG" 


] 
}, 


"allPlans" : [ 
. 
"aursor "BErECeCUrsor Close | 
"jindexBounds" : { 
velosce el 
[ 

100 ， 
.7976931348623157e+308 


"CUursor" : "BtreeCursor Stock_ symbol 1"， 
"jindexBounds" : { 
"stock symbol" : | 
[ 
"GOOG", 


中 严格 地 说 ， 这 些 计 划 是 交错 在 一 起 的 。 
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阁下 本 ECUTSOT 
"indexBoungds" : { 
} 
} 
] 
} 


你 马上 能 发 现 查 询 计 划 选 择 了 {stock_symbol: 11} 有 索引 来 实现 查询 。 输 出 的 下 方 ， 
allPlans 键 指 癌 一 个 列表 ， 其 中 还 包含 了 两 个 额外 的 查询 计划 : 一 个 使 用 {close: 1} 索 引 ， 
男 一 个 用 Basiccursor 扫 描 集 合 。 

优化 希 拒绝 集合 扫 摘 的 原因 显而易见 ， 但 不 选择 {close :1} 索 引 的 原因 却 不 明显 。 可 以 通 
过 hint () 找 到 答案 ，hint () 能 强迫 查询 优化 希 使 用 某 个 特定 索引 : 


Guery = {stock symbol: "GOOG", close: {S$gt: 100}} 
db.values.find(query) .hint({close: 1}) .explain() 
{ 














GULSOLr'" : "DECCECUESOr CLOSe LL'", 
"nscanned" : 5299, 
DIE 57 
6 
"ijndexBounds" : { 
COSe .0 


了 


200 
1.7976931348623157e+308 








nscanned 的 值 是 5299， 这 比 之 前 扫描 的 894 项 要 多 得 多 ， 完 成 查询 的 时 间 也 证 实 了 这 一 点 。 

和 镜 下 的 就 是 要 理解 查询 优化 带 是 如 何 缓 存 它 所 选择 的 查询 计划 ,并 让 其 过 期 的 。 毕 范 ， 你 不 
会 希望 优化 器 对 每 条 查询 都 并 行 运行 所 有 计划 。 

在 发 现 了 一 个 成 功 的 计划 之 后 ， 会 记录 下 查询 模式 ( query pattern )、nscannedq 的 值 以 及 索 
引 说 明 。 针 对 刚才 的 查询 ， 所 记录 的 结构 是 这 样 的 : 

{ pattern: {stock symbol: 'equality', close: 'bound', 


index: {stock symbol: 1}, 
nscanned: 894 } 


查询 模式 记录 下 了 每 个 键 的 匹配 类 型 ， 你 正 请 求 对 stock_sympbol 的 精确 匹配 ( 相等 )， 对 
close 的 范围 匹配 (边界 ) "。 只 要 新 的 查询 匹配 此 模式 ， 就 会 使 用 该 索引 。 


@) 也 许 你 会 对 此 感 兴 趣 ， 共 有 三 种 范围 匹配 类 型 : 上 界 (upper )、 下 界 (lower ) 以 及 上 下 界 (upperand-lower )。 查 
询 模 式 还 包含 各 种 排序 。 
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但 这 一 信息 不 应 该 是 永久 的 , 实际 情况 也 是 如 此 。 在 发 生 以 下 事件 之 后 优化 硕 会 目 动 让 计划 


口 对 集合 执行 了 100 次 写 操作 。 

口 在 集合 上 增加 或 删除 了 索引 。 

口 虽然 使 用 了 缓存 的 查询 计划 , 但 工作 量 大 于 预期 。 此 处 ,“ 工 作 量 大 ”的 标准 是 nscanned 
超过 缓存 的 nscanneq 值 的 10 倍 。 

发 生 最 后 一 种 事件 时 ,优化 带 会 立即 开始 交错 执行 其 他 查询 计划 ,也 许 为 一 个 索引 会 更 局 效 。 


7.3.3 查询 模式 


此 处 列举 了 几 种 常见 的 查询 模式 ， 以 及 它们 所 使 用 的 索引 1。 

1. 单 键 索引 

要 讨论 单 键 索引 ， 请 回忆 一 下 为 股票 集合 的 收盘 价 创 建 的 索引 {close: 1} ， 该 索引 能 用 于 
以 下 场景 。 

@ 精确 匹配 

举例 来 说 ， 要 精确 匹配 所 有 收盘 价 是 100 的 条 目 : 

db.values.find({close: 100}) 

@ 排序 

可 以 对 被 索引 字段 排序 。 例 如 : 

db.values.find({}).sort({close: 1}) 

本 例 中 的 排序 没有 查询 选择 融 , 除非 真 的 打算 迭代 整个 集合 , 否则 你 可 能 会 希望 再 增加 一 个 
限制 。 

@ 沁 围 查询 

针对 某 个 字段 进行 范围 查询 , 在 同一 字段 上 市 不 市 排序 都 可 以 。 例 如 , 查询 所 有 大 于 或 等 于 
100 的 收盘 价 : 

db.values.find({close: {S$gte: 100}) 

如 末 对 同一 个 键 增加 排序 子 句 ， 优 化 硕 仍 能 使 用 相同 的 索引 : 


db.values.find({close: {Sgte: 100}) .sort({close: 1}) 


2. 复合 键 索引 
复合 键 索引 稍微 复杂 一 点 ， 但 它们 的 用 法 与 单 键 索引 类 似 。 有 一 点 要 牢记 ， 针 对 每 个 查询 ， 






































复合 键 索引 只 能 高 效 适 用 于 单个 匈 于 或 排序 。 仍 然 是 股价 的 例子 , 想象 一 个 三 复合 键 索 引 {close: 


1，open: 1，date: 1}， 可 能 会 有 以 下 几 种 场景 。 
@ 精确 匹配 
精确 匹配 第 一 个 键 、 第 一 和 第 二 个 键 ， 或 者 第 一 、 第 二 和 第 三 个 键 ， 按 照 这 个 顺序 : 


db.values.find({close: 1}) 
db.values.find({close: 1, open: 1}) 
db.values.find({close: 1, open: 1, date: "1985-01-08"}) 
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@ 沁 围 匹配 
精确 匹配 任意 一 组 最 左 键 (包含 空 )， 随 后 对 其 右边 紧邻 的 键 进行 范围 查询 或 者 排序 。 于 是 ， 
以 下 所 有 的 查询 对 于 该 三 键 索 引 而 言 都 是 十 分 理想 的 : 


db.values.find({}) .sort({close: 1}) 
db.values.find({close: {S$gt: 1}}) 














( 
db.values.find({close: 100}) .sort({open: 1}) 
db.values.find({close: 100, open: {Sgt: 1}}) 
( 
( 


db.values.find 
db.values.find 


3. 覆盖 索引 

如 果 你 从 未 听 说 过 履 盖 索引 (covering index， 也 称 索 引 替 盖 )， 那 么 从 一 开始 就 要 意识 到 这 
个 术语 并 不 恰当 。 履 盖 索 引 不 是 一 种 索引 ， 而 是 对 索引 的 一 种 特殊 用 法 。 如 果 查 询 所 需 的 所 有 数 
据 都 在 索引 自身 之 中 ， 那 就 可 以 说 索引 能 履 盖 该 查询 。 履 盖 索 引 查询 也 称 仅 使 用 索引 的 查询 
(index-only query )， 因 为 不 用 引用 被 索引 文档 本 吴 怠 能 实现 这 些 杏 询 ， 这 能 市 来 性 能 的 提升 。 

MongoDB 中 能 很 方便 地 使 用 覆盖 索引 ， 简 单 地 选择 存在 于 单个 索引 里 的 字段 集合 ， 排 除 掉 
_id 字 段 (因为 这 个 字段 几乎 不 会 出 现在 正 使 用 的 索引 中 )。 下 面 这 个 例子 里 用 到 了 上 一 节 创 建 
的 三 复合 键 索 引 : 

db values. find({open: di (Ober 1 eloser di dater 1, id: 0)) 

如 有 果 对 它 执行 explain()， 你 会 看 到 其 中 标识 为 ndexon1ly 的 字段 被 设 为 了 true。 这 说 明 
查询 结果 是 由 索引 而 非 实际 集合 数据 提供 的 。 

查询 优化 总 是 针对 特定 应 用 程序 的 ， 但 是 我 希望 本 廊 的 理念 和 技术 能 帮助 你 更 好 地 调整 查 
询 。 通 过 观察 和 实验 进行 调整 总 是 行 之 有 效 的 方法 。 要 养 成 习惯 剖析 并 解释 你 的 查询 ,在 此 过 程 
中 ， 你 会 了 解 查 询 优 化 需 鲜 为 人 知 的 一 面 ， 并 能 保证 应 用 程序 的 查询 性 能 。 


{close: 1, open: 1.01, date: {S$gt: "2005-01-01"}}) 
{elose: |» open: Ol})sort({tdate. 1}) 















































7.4 小结 


本 章 的 内 容 可 能 有 点 多 , 因为 宗 引 实在 是 个 非常 大 的 主 慎 。 如 来 对 本 革 中 六 述 的 一 些 内 容 还 
不 是 很 消 想 ,没什么 关系 。 至少 你 了 解 了 一 些 技术 ,可 以 用 来 检查 索引 并 避免 慢 查 询 ， 千 握 了 足 
够 多 的 知识 以 进一步 和 学习。 鉴于 肥 引 和 查询 优化 的 复杂 性 ， 从 现在 起 , 你 最 好 的 老师 可 能 就 是 那 
些 简单 的 实验 。 




















本 章 内 容 

口 基本 复制 概念 

口 管理 副本 集 并 处 理 故 障 转移 

口 副本 集 连 接 、 写 关注 、 读 扩展 与 标签 


复制 ( replication ) 是 大 多 数 数据 库 管 理 系 统 的 重要 功能 ， 因 为 故障 是 不 可 避免 的 。 如 果 和 希 
望 生产 数据 在 故障 之 后 也 保持 可 用 状态 , 务必 要 确保 生产 数据 库 被 部 署 在 多 台 服 务 费 上 。 在 发 生 
故障 时 ， 复 制 能 提供 高 可 用 性 与 灾难 恢复 能 力 。 

本 草 开 始 时 ， 我 会 介绍 复制 的 概念 并 讨论 其 主要 使 用 场景 ,通过 深入 人 研究 副本 集 来 探讨 
MongoDB 的 复制 功能 。 最 后 ， 我 将 描述 如 何 使 用 驱动 连接 到 复制 后 的 MongoDB 集 群 、 如 何 使 用 
写 关注 ( write concern )、 如 何在 副本 间 实 现 读 操作 的 负载 均衡 。 


8.1 复制 概述 


复制 就 是 在 多 台 服 务 各 上 分 布 并 管理 数据 库 服 务 各 。MongoDB 提 供 了 两 种 复制 风格 : 主 从 
复制 和 副本 集 。 两 种 方式 部 是 在 一 个 主 市 把 进 行 写 操作 ( 写 入 的 数据 被 寞 步 地 同步 到 所 有 的 从 市 
点 上 )， 并 从 节点 上 读 取 数据 。 

主 从 复制 和 副本 集 使 用 了 相同 的 复制 机 制 , 但 是 副本 集 还 能 保证 自动 故障 转移 : 如 果 主 市 点 
由 于 菏 些 原因 下 线 了, 可 能 的 话 , 会 日 动 将 一 个 从 而 点 提升 为 主 节 点 。 副 本 集 还 提供 了 其 他 增强 ， 
比如 更 易于 恢复 和 更 高 级 的 部 萌 折 扑 。 出 于 这 些 原因 , 现在 已 经 没什么 有 说 服 力 的 理由 使 用 简单 
的 主 从 复制 了 。 "副本 集 也 因此 是 生产 部 署 环境 的 推荐 复制 策略 ; 因此 ， 本 章 的 大 部 分 内 容 都 是 
副本 集 的 说 明和 例子 ， 对 主 从 复制 只 做 了 一 个 简单 的 概述 。 


8.1.1 为 什么 复制 很 重要 
所 有 数据 库 部 对 其 运行 环境 中 的 故障 很 敏感 ,而 复制 提供 了 一 种 抵御 故障 的 机 制 。 这 里 所 指 



































J 只 有 一 种 情况 需要 选择 MongoDB 的 主 从 复制 ， 即 需要 超过 11 个 从 节点 时 ， 因 为 副本 集 不 能 包含 12 个 以 上 的 成 员 。 
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的 故障 都 有 哪些 ?下 面 是 一 些 和 常见 场景 。 
口 应 用 程序 与 数据 库 之 间 的 网 络 连 接 丢 失 。 
口 计划 停机 ， 但 服务 硕 没 有 按照 预定 计划 重新 上 线 。 任 何 机 构 的 服务 硕 都 一 定 会 安排 介 尔 
俘 一 下 机 ， 而 其 俘 机 绪 有 末 不 太 好 预测 。 一 次 简单 的 重 局 至 少 能 让 数据 库 服务 硕 下 线 几 分 
钟 ， 但 问题 是 重启 完成 之 后 又 会 发 生 什么 呢 ?” 新 安 并 的 软件 或 便 件 经 常会 让 操作 系统 无 
法 正常 启动 。 
口 断 电 。 虽 然 大 多 数 现代 化 数据 中 心 都 提供 了 元 余 电 源 ， 但 无 法 避免 数据 中 心 内 部 的 用 户 
错误 、 大 范围 局 部 暂时 限制 用 电 或 者 停电 造成 数据 库 服 务 需 关闭 。 
口 数据 库 服务 融 便 盘 故障 。 硬 盘 通 负 都 只 有 几 年 的 平均 无 故障 时 间 ， 它 比 你 想象 的 更 容易 
发 生 故 障 。” 
除了 抵御 外 部 故障 ， 复 制 对 于 MongoDB 的 耐久 性 来 说 也 很 重要 。 如 果 运 行 时 没有 开启 
Journaling 日 志 , 遇 到 非 正常 天 闭 , 无 法 保证 MongoDB 的 数据 文件 不 受 破坏 ,。 没有 Journaling 日 志 ， 
就 必须 时 刻 运行 复制 ， 这 才能 确保 在 一 个 市 点 意外 关闭 时 能 有 一 份 数 据 文件 的 正确 副本 。 

















此 时 Journaling 日 志 会 迅速 完成 恢复 ， 因 为 只 需 简 单 地 回放 Journaling 日 志 就 能 让 故障 节点 重新 上 
线 。 相 比 从 现 有 副本 重新 同步 ( resyncing ) 或 手动 复制 副本 的 数据 文件 ， 这 要 快 得 多 。 

无 论 是 否 开启 Journaling 日 志 ，MongoDB 的 复制 功能 都 会 极 大 地 增强 整个 数据 库 的 可 靠 性 ， 
因此 强烈 推荐 使 用 该 功能 。 


8.1.2 复制 的 使 用 场 厌 


你 可 能 会 感到 很 惊讶 ， 复 制 数 据 库 的 用 途 居然 能 有 这 么 多 。 尤 其 是 复制 能 帮助 进行 元 余 、 故 
障 转移 、 维 护 以 及 负载 均衡 。 下 面 ， 让 我 们 人 简单 地 看 一 些 使 用 场景 。 

复制 主要 是 用 来 做 多余 的 。 本 质 上 要 保证 复制 节点 与 主 节 点 保持 同步 。 这些 副本 可 以 和 主 节 
点 位 于 同一 数据 中 心里 , 也 可 以 分 布 在 不 同 地 理 位 置 用 于 容 灾 。 因 为 复制 是 异步 的 , 任何 市 点 间 
的 网 络 延迟 或 分 区 partition ) 都 不 会 影响 主 节点 的 性 能 。 作 为 男 一 种 形式 的 见 余 ， 复制 节点 也 
可 以 与 主 市 点 保持 一 定 的 延 时 , 万 一 用 户 无 意 间 删除 了 一 个 集合 , 或 者 应 用 程序 不 知 怎么 的 破坏 
了 数据 库 ， 这 还 能 提供 一 些 防 御 措 施 。 一 般 情 况 下 ， 这些 操作 都 会 被 立即 复制 ; 延 时 副本 让 管理 
员 有 时 间 做 出 反应 ， 也 许 还 能 挽救 他 们 的 数据 。 

有 一 点 很 重要 : 虽然 它们 是 一 种 元 余 , 但 副本 不 是 备份 的 蔡 代 品 。 备 份 是 数据 库 在 过 去 某 个 
特定 时 间 的 快照 ,但 副本 总 是 最 新 的 。 在 一 些 情况 下 ,数据 集 过 大 让 备份 显得 不 切实 际 , 但 通常 
来 说 ， 备 份 是 种 明智 的 做 法 ， 就 算 用 了 复制 也 推荐 进行 备份 。 

复制 的 另 一 个 使 用 场景 是 故障 转移 。 你 希望 系统 高 可 用 , 但 仅 在 拥有 元 余 节点 ,并且 在 紧急 
情况 下 能 切换 到 这 些 节 点 时 ， 才 能 实现 高 可 用 。MongoDB 的 副本 集 通 常 都 能 方便 地 上 自动 实现 这 


















































Q 可 以 在 谷歌 的 “Failure Trends in a Large Disk Drive Population”( http://research.google.com/archive/disk failures.pdf ) 
中 看 到 人 硬盘 故障 率 的 详细 分 析 。 


种 切换 。 

除了 提供 见 余 与 故障 转移 , 复制 还 可 以 简化 维护 工作 , 它 人 允许 你 在 主 节 点 以 外 的 节点 上 执行 
开销 很 大 的 操作 。 例如, 通常 都 会 在 从 市 点 上 进行 备份 , 不 给 主 节 点 市 来 额外 的 负载 , 避免 停机 。 
另 一 个 例子 是 构建 大 索引 ， 因 为 构建 索引 的 开销 很 大 ， 可 以 先 在 某 个 从 节点 上 构建 索引 ， 然 后 主 
从 切换 ， 再 在 新 的 从 节点 上 构建 索引 。 

最 后 ,复制 能 让 你 在 副本 间 均 衡 该 负载 。 对 于 那些 谱 负 载 占 绝对 比重 的 应 用 程序 而 言 ， 这 是 

扩展 MongoDB 最 价 单 的 途径 。 话 虽 如 此 ， 但 如 果 出 现 以 下 场景 ， 请 不 要 用 从 节点 来 扩展 旋 操 作 。 

口 所 分 配 的 便 件 无 法 处 理 给 定 的 负载 。 以 我 上 一 草 里 提 到 的 工作 集 为 全 ， 如 果 使 用 的 工作 
数据 集 远 大 于 可 用 内 存 ， 那 么 癌 从 市 点 发 送 随 机 读 请 求 仍 然 可 能 造成 大 量 磁盘 访问 ， 导 
致 慑 查询 。 

口 读 写 比 超 过 50%。 诚然 , 这 个 比例 有 点 主观 , 但 将 它 作 为 起 始 值 还 是 挺 合 适 的 。 此 处 的 问 
题 是 主 世 点 上 的 所 有 写 操作 最 终 也 会 写 人 从 节点 ， 把 谈 操 作 导 回 正 在 处 理 大量 写 和 人 的 从 
节点 有 时 会 减 绥 复 制 过 程 ， 并 不 会 提高 谈 吞 吐 量 。 

口 应 用 程序 要 求 一 致 性 读 。 从 市 点 的 复制 是 异步 进行 的 ， 因 此 无 法 保证 一 定 能 读 到 主 节 点 
上 最 新 写 和 人 的 数据 。 在 某 些 极端 情况 下 ， 从 下 点 可 能 延迟 几 个 小 时 。 

因此 ， 你 能 通过 复制 来 均衡 谈 负 载 , 但 仅 限 于 特定 场景 。 如 果 需 要 进行 扩展 ， 又 出 现 了 以 上 

某 种 情况 ， 那 么 你 需要 不 同 的 策略 ， 包 括 分 片 、 升 级 便 件 或 两 者 兼 而 有 之 。 


8.2 副本 集 
副本 集 是 对 主 从 复制 的 一 种 完善 ， 也 是 推荐 的 MongoDB 复 制 策略 。 我 们 会 从 配置 一 个 示例 


副本 集 开 始 ， 然 后 描述 复制 是 如 何 工 作 的 ,这 些 知 识 对 于 诊断 线 上 问题 是 极为 重要 的 。 最 后 会 讨 
论 一 些 高 级 配置 细 记 、 故 障 转移 与 恢复 ， 还 有 最 佳 部 车 实 践 。 





















































8.2.1 了 置 


最 小 的 推荐 副本 集 配 置 由 三 个 市 点 组 成 。 其 中 两 个 市 点 是 一 等 的 、 持 久 化 mongod 实 例 ， 两 
者 都 能 作为 副本 集 的 主 古 点 ， 训 有 完整 的 数据 副本 。 集合 里 的 第 三 个 市 扣 是 仲裁 市 点 ,不 复制 数 
据 ， 只 是 中 立 观 察 者 。 正 如 其 名 所 示 ， 仲 裁 方 点 是 进行 仲裁 的 : 在 要 求 故 隐 转 移 时 ， 仲 裁 节 点 会 
帮助 选 出 新 的 主 方 点 。 图 8-1 描 绘 了 要 配置 的 副本 集 。 

先 为 副本 集 里 的 每 个 成 员 创 建 数 据 目 录 : 

mkdir /data/nodel 


mkdir /data/node?2 
mkdir /data/arbiter 


接 下 来 ， 分 别 为 每 个 成 员 局 动 独 立 的 mongod。 因 为 要 在 同一 台 机 需 上 运行 这 些 进程 ， 最 好 
在 独立 的 终端 窗口 里 局 动 各 个 mongod: 
mongod --replSet myapp --dbpath /data/nodel --port 40000 


mongod --replSet myapp --dbpath /data/node2 --port 40001 
mongod --replSsSet myapp --dbpath /data/arbiter --port 40002 


























主 数据 中 心 从 数据 中 心 





图 8-1 由 一 个 主 贡 点 、 一 个 从 节点 和 一 个 仲裁 节点 组 成 的 基本 副本 集 
如 果 查 看 mongogd 的 日 志 输 出 , 注意 到 的 第 一 件 事 是 错误 消息 ( 提示 找 不 到 配置 ) 这 完全 正 篆 : 


[startReplSets] replSet can't get local.system.replset 
config from self or any seeqd (EMPTYCONFIG) 
[startReplSets] replSet info you may need to run replSetIinitiate 


继续 下 一 步 ， 需 要 配置 副本 集 。 先 连接 到 一 个 刚 启 动 的 非 仲 裁 节点 的 mongod 上 。 这 里 的 例 
子 都 是 在 本 地 运行 hongod 进 程 的 ， 因 此 将 通过 本 地 主机 名 来 进行 连接 ， 本 例 中 是 arete。 
连接 后 运行 rs .initiate () 命 令 : 

















> rs.initiate!l() 


{ 


"info2" : "no configuration explicitly specified -- making one", 

nev ke varete 40000%, 

"jinfo" : "Config now saved locally. Should come online in about a minute 
nok" 1 


} 
一 分 钟 左 右 , 你 就 能 拥有 一 个 单 成 员 的 副本 集 了 。 现在 再 通过 rs .add () 添加 其 他 两 个 成 员 : 
rs.add("localhost:40001") 
ol |} 
rs.add("arete.local:40002", {arbiterOnly: true}) 

人 OK 

注意 ， 在 添加 第 二 个 节点 时 指定 了 arbiteronly 人 参数 ， 以 此 创建 一 个 仲裁 节点 。 不 久之 后 
(1 分 钟 内 )， 所 有 的 成 员 就 都 在 线 了 。 要 获得 副本 集 状态 的 摘要 信息 ， 可 以 运行 db. isMaster () 
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> db.isMaster() 


{ 
"setName" : "myapp", 
"ismaster" : false, 
"secondary" : true, 
hosten 
Taretew4000L"s 
"arete:40000" 
区 
"arbrtere" :二 | 
"arete:40002" 
i 
"primary" : "arete:40000", 
"maxBsonObjectSize" : 16777216, 
vol" 
} 





rs.status() 方 法 能 提供 更 详细 的 系统 信息 , 可 以 看 到 每 个 节点 的 状态 信息 。 下面 是 完整 的 
状态 言 奶 : 


> rs.status ( ) 





{ 
Set mal 
"ate LSODate("20L1 09—27T22:090:042Z"), 
"myState" : 1, 
"members" : [| 
{ 
De et 
"name" : "arete:40000", 
"health" : 1, 
mopedate" 
"Stateotr" ss "PRLIMARY™, 
"optime" : { 
Ut S31/16L329000. 
dn 
Vg 
"optimeDate" : ISODate("2011-09-27T22:08:492Z")， 
"self" : true 
上 
{ 
wr 
"name" : "arete:40001", 
"health" : 1, 
Wotate 
"SEateotr™ % "MOEBCONDARY™, 
"uptime" : 59, 
"optime" : f{ 
ut] SL716L329000. 
Ut 
二 
"optimeDate" : ISODate("2011-09-27T22:08:492Z")， 
"lastHeartbeat" : ISODate("2011-09-27T22:09:032Z")， 
"pingMs" : 0 


于 四 2 
"name" : "arete:40002", 
"Mealth" :1 
上 
SS 七 aeetr ”AREBIIER”:， 
"uptime" : 5， 
"opeLmner 
ul 
We 
1 
"optimeDate" : ISODate("1970-01-01TO0O0:00:00Z"), 
"lastHeartbeat" : ISODate("2011-09-27T22:09:032Z"),， 
"PingMs" : 0 


roe 
} 
除非 你 的 MongoDB 数 据 库 里 包含 很 多 数据 ， 否 则 副本 集 应 该 能 在 30 s 内 上 线 。 在 此 期 间 ， 
个 节点 的 stateStr 字 段 应 该 会 从 RECOVERING 变 为 PRIMARY、SECONDARY 或 ARBITER。 
就 算 副 本 集 的 状态 “宣称 ”复制 已 经 在 运行 了 ， 你 可 能 还 是 希望 能 看 到 一 些 证 据 。 因 此 ， 接 
下 来 在 Shell 里 连接 到 主 节 点 ， 插 入 一 个 文档 : 


S mongo arete:40000 

> use bookstore 

switched to db bookstore 

> db.books.insert({title: "Oliver Twist"}) 
> show dbs 

admin (empty) 

bookstore 0.203125GB 

local 0.203125GB 


初始 的 复制 几乎 是 立即 发 生 的 。 在 万 一 个 终端 窗口 中 开局 一 个 新 的 Shell 实 例 , 这 次 要 指向 从 
六 点 。 碍 询 刚才 搬入 的 文 当 ， 应 该 有 如 下 输出 : 


S mongo arete:40001 

> show dbs 

admin (empty) 

bookstore 0.203125GB 

local 0.203125GB 

> use bookstore 

switched to db bookstore 

> db.books.find() 

{ "_id" : ObjectIid("4d42ebf28e3c0c32c06bdf20"), "title" : "Oliver Twist" } 


如 打 复 制 确实 如 显示 的 那样 已 经 在 运作 了 ， 那 就 说 明 已 经 成 功 配置 了 副本 集 。 

能 实 实在 在 地 看 到 复制 让 人 党 得 很 满意 , 但 也 许 目 动 故 障 转 移 会 更 有 趣 一 些 。 现 在 就 来 做 点 
测试 。 要 模拟 网 络 分 区 需要 点 技巧 ， 所 以 我 们 会 选择 一 个 体 单 的 方法 ,条 挥 一 个 市 点 。 你 可 以 杀 
掉 从 节点 , 这 只 会 集 止 复制 , 剩余 的 厄 点 仍旧 保持 其 当前 状态 。 如果 希望 看 到 系统 状态 发 生 改变 ， 
就 需要 杀 挥 主 让 感 。 标 准 的 CTRL-C 或 Ki11 -2 束 能 办 到 这 点 。 你 还 可 以 连 上 主 市 操 ， 在 Shell 里 


运行 db .shutdownServer ()。 
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一 旦 杀 挥 了 主 市 态 ， 从 市 点 会 发 现 检测 不 到 主 节 点 的 “心跳 ”了 ， 随 后 会 把 目 己 “选举 ”为 
主 证 把 。 这样 的 “选举 ”是 可 行 的 , 因为 原始 节点 中 的 大 多 数 节 点 (仲裁 者 节点 和 原始 的 从 节点 ) 
仍 能 ping 到 对 方 。 以 下 是 从 节点 日 志 的 片段 : 


[ReplSetHealthPollTask] replSet info arete:40000 is down (or slow to respond) 
Mon Jan 31 22:56:22 [rs Manager] replSet info electSelf 1 
Mon Jan 31 22:56:22 [rs Manager|] replSet PRIMARY 


如 采 连 接 到 新 的 主 太 点 上 检查 副本 集 状态 ， 你 会 发 现 无 法 访问 到 老 的 主 方 点 : 
> rs.status() 


{ 








we 
"name" : "arete:40000", 
"ea Gh 
"Sstate" : 6， 
"stateSsStr" : "(not reachable/healthy)", 
"uptime" : 0, 
"optime" : { 
"E129695100780005 
| 
}, 
"optimeDate" : ISODate("2011-01-31T21:43:182zZ")， 
"lastHeartbeat" : ISODate("2011-02-01T03:29:302Z"),， 
"errmsg": "socket exception'" 


} 

故障 转移 后 ,副本 集束 只 有 两 个 证 点 了 。 因 为 仲裁 广 点 没有 数据 ， 只 要 应 用 程序 只 和 主 市 点 
通信 ， 它 就 能 继续 运作 。* 即 使 如 此 ， 复 制 停止 了 ， 现 在 不 能 再 做 故障 转移 了 。 老 的 主 节点 必须 
恢复 。 假 设 它 是 正 笛 关闭 的 , 可 以 让 它 再 度 上 线 ， 它 会 日 动 以 从 节点 的 号 份 重 新 加 入 副本 集 。 你 
可 以 斌 一下， 现在 就 重 局 老 的 主 方 点 。 

以 上 就 是 副本 集 的 完整 概述 ， 坚 无 悬念 , 你 会 党 得 其 中 一 些 细 有 有 点 杯 手 。 在 接 下 来 的 两 
里 , 你 会 看 到 副本 集 实际 是 如 何 运 作 的 ， 了 人 解 它 的 部 署 、 蜗 级 配置 以 及 如 何 处 理 生产 环境 中 可 能 
出 现 的 复杂 场景 。 


8.2.2 ”复制 的 工作 原理 


副本 集 依赖 于 两 个 基础 机 制 : oplog 和 “心跳 ”( heartbeat )。oplog 让 数据 的 复制 成 为 可 能 ， 
而 “心跳 ” 则 监控 健康 情况 并 触发 故障 转移 ， 后续 将 看 到 这 些 机 制 是 如 何 轮 流 运作 的 。 你 应 该 已 
经 逐渐 开始 理解 并 能 预测 副本 集 的 行为 了 ， 尤 其 是 在 故障 的 情况 下 。 

1. 天 于 oplog 

oplog 是 MongoDB 复 制 的 关键 。 oplog 是 一 个 固定 集合 , 位 于 每 个 复制 市 点 的 local 数 据 库 里 ， 
记录 了 所 有 对 数据 的 变更 。 每 次 客户 端 癌 主 节 点 写 人 数据 ， 就 会 目 动 向 主 节点 的 oplog 里 添加 一 
个 条 目 , 其 中 包含 了 足够 的 信息 来 再 现 数据 。 一 旦 写 操作 被 复制 到 某 个 从 节点 上 ， 从 布点 的 oplog 
























































J 应 用 程序 有 时 会 查询 从 市 点 来 做 读 扩展 。 如 果 是 这 样 ， 此 类 故障 就 会 导致 读 故 障 。 因 此 在 设计 应 用 程序 时 要 时 刻 
把 故障 转移 放 在 心头 。 本 革 末 尾 会 有 更 多 相关 内 容 。 
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也 会 保存 一 条 关于 写 和 人 的 记录 。 每 个 oplog 条 目 都 由 一 个 BSON 时 间 惟 进行 标识 ,所 有 从 节点 都 使 
用 这 个 时 间 戳 来 追踪 它们 最 后 应 用 的 条 目 。” 

为 了 更 好 地 了 解 其 原理 ， 让 我 们 仔细 看 看 真实 的 oplog 以 及 其 中 记录 的 操作 。 先 在 Shell 里 连 
接 到 上 一 节 局 动 的 主 贡 点， 切换 到 loca1 数 据 库 


> USe local 
switched to db local 


local 数 据 库 里 保存 了 所 有 的 副本 集 元 数据 和 oplog。 当 人 然 , 这 个 数据 库 本 身 不 能 被 复制 。 正如 其 
名 ，local 数 据 库 里 的 数据 对 本 地 节点 而 言 是 唯一 的 ， 因 此 不 该 复制 。 

如 有 果 查 看 1ocal 数 据 库 ， 你 会 看 到 一 个 名 为 oplog .rs 的 集合 ， 每 个 副本 集 都 会 把 oplog 保 存 
在 这 个 集合 里 。 你 还 会 看 到 一 些 系统 集合 ， 以 下 就 是 完整 的 输出 : 


> Show collections 
































me 
oplog.rs 
replset.minvalid 
slaves 
system.indexes 
system.replset 


replset .minvalid 和 包含 了 指定 副本 集成 员 的 初始 同步 信息 ，system.replset 保 存 了 副本 集 
配置 文档 。me 和 slaves 用 来 实现 写 关 注 ( 本章 最 后 会 介绍 )。system. indexes 是 标准 索引 说 
明 容 需 。 

我 们 先 把 精力 集中 在 oplog 上 ， 碍 询 与 上 一 节 里 你 所 添加 图 书 文档 相关 的 oplog 条 目 。 为 此 ， 
输入 如 下 查询 ， 结 果 文 档 里 会 有 四 个 字段 ， 我 们 将 依次 讨论 这 些 字段 : 


> ol efi omy 




















{ TEeu ee { dt, 12906864947000% 0 1] } ele 3 'ns 
nat 和 人 a 和 A 和 loan [| 轴 了 n .AN MR a TA/NnAAAA~OAMT AAEOQOFCoa FRARATEATaidn\ 
DOOARCULOILICDO. DOOND J OO > Ll eC :UDCCUIQU\ UCJIODLICCIOODJQLIO0/ OU/idL |J 
Eile .VOL ver Dwiet. 


} 

第 一 个 字段 是 ts, 保存 了 该 条 目的 BSON 时 间 鹤 。 这 里 特别 要 注意 ，Shell 是 用 子 文档 来 显示 
时 间 惟 的 , 包含 两 个 字段 , t 是 从 纪元 开始 的 秒 数 ， i 是 计数 絮 。 也 许 你 会 觉得 可 以 像 下 面 这 样 来 
查询 这 个 条 目 : 

db.oplog.rs.findOone({ts: {t: 1296864947000,，, i: 1}}) 

实际 上 ， 这 条 查询 返回 nul11。 要 在 查询 中 使 用 时 间 截 ， 需 要 显 式 构造 一 个 时 间 惟 对象 。 所 
有 的 张 动 都 有 肯 己 的 BSON 时 间 惟 构造 希 ，JavaScript 也 是 如 此 。 可 以 这 样 做 : 

db.oplog.rs.findOone({ts: new TImestamD(1296864947000， 工 ) }) 

回 到 那 条 oplog 条 目 上 ， 第 二 个 字段 op 表示 操作 码 (opcode )， 它 告诉 从 市 点 该 条 上 日 表示 了 什 
么 操作 ， 本 例 中 的 i 表示 插入 。op 后 的 ns 标明 了 有 关 的 命名 空间 (数据库 和 集合 )，o 对 插入 操作 
而 言 包 含 了 所 插入 文档 的 副本 。 























JBSON 时 间 戳 是 一 个 唯一 标识 待 ， 由 从 纪元 算 起 的 秒 数 和 一 个 递增 的 计数 器 值 构成 。 
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在 查看 oplog 条 目 时 ， 你 可 能 会 注意 到 ， 对 于 那些 影响 多 个 文档 的 操作 ，oplog 会 将 各 个 部 分 
都 分 析 到 位 。 对 于 多 项 更 新 和 大 批量 删除 来 说 ， 会 为 每 个 影响 到 的 文档 创建 单独 的 oplog 条 目 。 
例如 ， 假 设 你 加 集合 里 添加 了 几 本 狄更斯 的 书 : 

> USe bookstore 


db.books.insert({title: "A Tale of Two Cities"}) 
db.books.insert({title: "Great Expectations"}) 


现在 集合 里 有 四 本 书 ， 让 我 们 通过 一 次 多 项 更 新 来 设置 作者 的 名 称 : 
db.books.update({}, {S$set: {author: "Dickens"}}, false, true) 
在 oplog 里 会 出 现 什 么 呢 ? 


> use local 
SO so Os sm ln (or 








Ce te TO969044T4900000 Ts OD 
"ns" : "bookstore.books", 

"o2" : { "_id" : ObjectId("4d4dcb89ec5855af365d4283") |}， 
vo "Seet 3 { "authior Diekene 

Cee T20690441490005 .2 oO 
"ns" : "bookstore.books", 

"o2" : { "_id" : ObjectId("4d4dcb8eec5855af365d4284") |},， 
io" : { "Sset" »: { "author" : "Dickens" } } } 

{Ee e969044149000 有 
"ns" : "bookstore.books", 

"o2" : { "_id" : ObjectId("4d4dcbb6ec5855af365d4285") |},， 
"o" : { "sset" : { "author" : "Dickens" } } } 








如 你 所 见 ， 每 个 被 更 新 的 文档 都 有 自己 的 oplog 条 目 。 这 种 正规 化 是 更 通用 策略 中 的 一 部 分 ， 
它 会 保证 从 节点 总 是 能 和 主 节 点 拥有 一 样 的 数据 。 要 确保 这 一 点 , 每 次 应 用 的 操作 都 必须 是 寡 等 
的 一 一 一 个 指定 的 oplog 条 目 被 应 用 多 少 次 都 无 所 谓 ; 结果 总 是 一 样 的 。 其 他 多 文档 操作 的 行 ; 
是 一 样 的 ， 比 如 删除 。 你 可 以 试 试 不 同 的 操作 ， 看 看 它们 在 oplog 里 最 终 是 什么 样 的 。 

要 取得 oplog 当 前 状态 的 基本 信息 ， 可 以 运行 Shell 的 db .getReplicationInfo() 方 法 : 


> db.getReplicationInfol() 
{ 























"logSizeMB" : 50074.10546875, 

"usedMB" : 302.123, 

"timeDiff" : 294, 

"timeDiffHours" : 0.08, 

"tFirst" :; "Thu Jun 16 2011 21:21:55 GMT-0400 (EDT)", 
"tLast" : "Thu Jun 16 2011 21:26:49 GMT-0400 (EDT)", 
"now"” : "Thu Jun 16 2011 21:27:28 GMT-0400 (EDT)" 


} 

这 里 有 oplog 中 第 一 条 和 最 后 一 条 的 时 间 戳 , 你 可 以 使 用 snatural 排 序 修饰 符 手工 找到 这 些 
oplog 条 目 ,例如 ,下 面 这 条 查询 能 获取 最 后 一 个 条 目 :db.oplog.rs.find() .sort({fSnatural : 
= Tm 

关于 复制 ， 还 有 一 件 重要 的 事情 ， 即 从 节点 是 如 何 确定 它们 在 oplog 里 的 位 置 的 。 答 案 在 于 从 
节点 上 自己 也 有 一 份 oplog。 这 是 对 主 从 复制 的 一 项 重大 改进 ， 因 此 值得 花 些 时 间 深 究 其 中 的 原理 。 
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假设 回 副 本 集 的 主 丰 点 发 起 写 操 作 , 接 下 来 会 发 生 什么 ? 与 操作 先 被 记录 下 来 , 添加 到 主 市 
点 的 oplog 里 。 与 此 同时 ,所 有 从 节点 从 主 广 点 复制 oplog。 因 此 ， 当 某 个 从 市 点 准备 更 新 自己 时 ， 
它 做 了 三 件 事 : 首先 ， 查 看 上 自己 oplog 里 最 后 一 条 的 时 间 惟 ; 其 次 ， 查 询 主 市 点 oplog 里 所 有 大 于 
此 时 间 惟 的 条 目 ; 最 后 ， 把 那些 条 目 添 加 到 自己 的 oplog 里 并 应 用 到 自己 的 库 里 。" 也 就 是 说 ， 万 
一 发 生 故 障 ， 任 何 被 提升 为 主 节 点 的 从 节点 都 会 有 一 个 oplog， 其 他 从 市 点 能 以 它 为 复制 源 进行 
复制 。 这 项 特性 对 副本 集 的 恢复 而 言 是 必需 的 。 

从 节点 使 用 长 轮 询 (longpolling ) 立即 应 用 来 自主 节点 oplog 的 新 条 目 。 因 此 从 节点 的 数据 通 
各 都 是 最 新 的 。 由 于 网 络 分 区 或 从 节点 本 刁 进 行 维护 造 成 数据 陈旧 时 ， 可 以 使 用 从 节点 oplog 里 
最 新 的 时 间 惟 来 监测 复制 延迟 。 

2. 停止 复制 

如 果 从 市 点 在 主 方 点 的 oplog 里 找 不 到 它 所 同步 的 点 ， 那 么 会 永久 集 止 复制 。 发 生 这 种 情况 
时 ， 你 会 在 从 节点 的 日 志 里 看 到 如 下 异 稼 : 


repl: replication data too stale, halting 
Fri Jan 28 14:19:27 [replsecondary] caught SyncException 


回忆 一 下 ，oplog 是 一 个 固定 集合 ， 也 就 是 说 集合 里 的 条 目 最 终 都 会 过 期 。 一 旦 某 个 从 节点 
没 能 在 主 证 点 的 oplog 里 找到 它 已 经 同步 的 点 ,就 无 法 青 保证 这 个 从 节点 是 主 方 点 的 完美 副本 了 。 
因为 修复 俘 止 复制 的 唯一 途径 是 重新 完整 同步 一 次 主 万 点 的 数据 ， 所 以 要 竟 尽 全 力 避 倪 这 个 状 
态 。 为 此 ， 要 监测 从 市 点 的 延 时 情况 ， 人 针对 你 的 写 入 量 要 有 足够 大 的 oplog。 在 第 10 草 里 能 了 解 
到 更 多 与 监控 有 关 的 内 容 。 接 下 来 我 们 将 讨论 如 何 选 择 合适 的 oplog 大 小 。 

3. 调整 复制 OPLOG 大 小 

为 oplog 是 一 个 固定 集合 ， 所 以 一 旦 创建 就 无 法 重新 设置 大 小 ( 至 少 日 MongoDB v2.0 起 是 
这 样 的 ),“ 为 此 要 慎重 选择 初始 oplog 大 小 。 

默认 的 oplog 大 小 会 随 着 环境 发 生变 化 。 在 32 位 系统 上 ，oplog 默 认 是 50 MB， 而 在 64 位 系统 
上 ，oplog 会 增 大 到 1 GB 或 空余 磁盘 空间 的 5%。 “对 于 多 数 部 署 环 境 ， 空 余 磁 盘 空 间 的 $% 绰 绰 有 
余 。 对 于 这 种 斥 寸 的 oplog， 要 意识 到 一 旦 重 写 20 次 ， 磁 盘 就 可 能 满 了 。 

因此 默认 大 小 并 非 适 用 于 所 有 应 用 程序 。 如 果 知 道 应 用 程序 写 人 量 会 很 大 , 在 部 署 之 前 应 该 
做 些 测试 。 配置 好 复制 , 然后 以 生产 环境 的 写 人 量 同 主 市 点 发 起 写 操 作 , 像 这 样 对 服务 右 施 压 起 
人 码 一 小 时 。 完 成 之 后 ， 连 接 到 任意 副本 集成 员 上 ， 获 取 当 前 复制 信息 : 

db.getReplicationInfo() 

一 旦 了 解 了 每 小 时 会 生成 多 少 oplog， 就 能 决定 分 配 多 少 oplog 空 间 了 。 你 应 该 为 从 市 点 下 线 
至 少 八 小 时 做 好 准备 。 发 生 网 络 故 障 或 类 似 事 件 时 ， 要 避免 任意 市 点 重新 闻 步 完整 数据 ， 增 加 
oplog 大 小 能 为 你 争取 更 多 时 间 。 













































































G 开局 Journaling 日 志 时 ， 文 档 会 在 一 个 原子 事务 里 被 同时 写 人 核心 数据 文件 和 oplog。 
@) 增加 固定 集合 大 小 的 选项 已 列 人 计划 特性 之 列 ， 详 见 https:VWjira.mongodb.org/browse/SERVER-1864。 
(3) 如 果 运 行 的 是 OS X， 这 时 oplog 将 是 192 MB。 这 个 值 较 小 ， 原 因 是 会 假设 OS X 的 机 需 是 开发 机 。 
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如 有 果 要 改变 默认 oplog 大 小 ， 必 须 在 每 个 成 员 节 点 首次 启动 时 使 用 mongod 的 --oplogSize 
选项 ， 其 值 的 单位 是 兆 。 可 以 像 这 样 启动 一 个 1 GB oplog 的 mongod 实 例 : 

mongod --replSet myapp --oplogSize 1024 

4.“ 心 跳 ” 检 测 与 故障 转移 

副本 集 的 “心跳 ”检测 有 助 于 选举 和 故障 转移 。 默 认 情 况 下 ， 每 个 副本 集成 员 每 两 秒 钟 ping 
一 次 其 他 所 有 成 员 。 这 样 一 来 ， 系 统 可 以 弄 清 自己 的 健康 状况 。 在 运行 rs.status() 时 ， 你 可 
以 看 到 每 个 节点 上 次 “心跳 ”检测 的 时 间 戳 和 健康 状况 〈1 表 示 健 康 ，0 表 示 没 有 应 答 )。 

只 要 每 个 节点 都 保持 健康 且 有 应 答 , 副本 集 就 能 快乐 地 工作 下 去 。 但 如 果 哪 个 节点 失去 了 响 
应 ， 副 本 集 就 会 采取 措施 。 每 个 副本 集 都 希望 确认 无 论 何 时 都 恰好 存在 一 个 主 节 点 。 但 这 仅 在 大 
多 数 节 点 可 见 时 才 有 可 能 。 例 如 ， 回 顾 上 一 节 里 构建 的 副本 集 ， 如 果 杀 掉 从 节点 ， 大 部 分 节点 依 
然 存在 ,副本 集 不 会 改变 状态 ， 只 是 简单 地 等 等 从 市 点 重新 上 线 。 如 果 杀 挥 主 厄 点， 大 部 分 市 点 
依然 存在 ,但 没有 主 节 点 了 。 因 此 从 节点 被 自动 提升 为 主 节 点 。 如 果 碰 巧 有 多 个 从 节点 ,那么 会 
推选 状态 最 新 的 从 市 点 提升 为 主 节 点 。 

但 还 有 其 他 可 能 的 场景 。 假设 从 市 点 和 仲裁 节点 都 被 杀 掉 了， 只 简 下 主 证 点 , 但 没有 多 数 市 
点 一 一 原来 的 三 个 节点 里 只 有 一 个 仍 处 于 健康 状态 。 在 这 种 情况 下 , 在 主 节 点 的 日 志 里 会 有 如 下 
消息 : 


Tue Feb 1 11:26:38 [rs Manager] replSet can't see a majority of the set, 









































relinquishing primary 
Tue Feb 1 11:26:38 [rs Manager] replSet relinquishing primary state 
Tue Feb 1 11:26:38 [rs Manager]|] replSet SECONDARY 


没有 了 多 数 节 点 ， 主 市 点 会 把 自己 降级 为 从 节点 。 这 让 人 有 点 费解 ,但 仔细 想 想 ， 如 果 该 市 
点 仍然 作为 主 布 点 的 话 会 发 生 什 情况 ? 如 果 出 于 某 些 网 络 原 因 心 跳 检 测 失 败 了 , 那么 其 他 和 点 仍 
然 是 在 线 的 。 如 采 仲 裁 厄 点 和 从 市 点 依然 健在 ， 并且 能 看 到 对 方 ， 那么 根据 多 数 节 点 原则 , 剩 下 
的 从 节点 会 变 成 主 市 点 。 要 是 原来 的 主 市 点 并 未 降级 , 那么 你 顿时 就 陷入 了 不 堪 一 击 的 局 面 : 副 
本 集中 有 两 个 主 三 点 。 如 果 应 用 程序 继续 运行 ， 束 可 能 对 两 个 不 同 的 主 厄 点 做 读 写 操作 ， 肯定 会 
有 不 一 八 ， 并 伴随 着 奇怪 的 现象 。 因 此 ， 当 主 厄 点 看 不 到 多 数 节 点 时 ， 必 须 降 级 为 从 市 点 。 

5. 提交 与 回 滚 

关于 副本 集 ， 还 有 最 后 一 点 需要 理解 ， 那 就 是 提交 的 概念 。 本 质 上 ,你 可 以 一 直 问 主 节点 做 
写 操作 , 但 那些 写 操 作 在 被 复制 到 大 多 数 市 点 前 ， 都 不 会 锌 认为 是 已 提交 的 。 这 里 所 说 的 已 提交 
是 什么 意思 呢 ?” 最 好 举 个 例子 来 做 说 明 。 仍 以 上 一 市 构建 的 副本 集 为 例 , 你 问 主 布点 发 起 一 系列 
写 操 作 , 出 于 某 些 原因 ( 连接 问题 、 从 市 点 为 备份 而 下 线 、 从 市 点 有 延迟 等 ) 没 补 复制 到 从 市 点 。 
现在 假设 从 布点 突然 被 提升 为 主 节 点 了 了 ， 你 同 新 的 主 万 点 写 数 据 ， 而 最 终老 的 主 贡 点 再 次 上 线 ， 
尝试 从 新 的 主 市 点 做 复制 这 里 的 问题 在 于 老 的 主 市 点 里 有 一 系列 写 操作 并 未 出 现在 新 主 方 点 的 
oplog 里 。 这 就 会 触发 回 深 。 

在 回 深 时 ， 所 有 未 复制 到 大 多 数 市 点 的 写 操 作 都 会 被 撤销 。 也 就 是 说 会 将 它们 从 从 市 点 的 
oplog 和 它们 所 在 的 集合 里 删 控 。 要 是 某 个 从 市 点 里 登记 了 一 条 删除 ， 那 么 该 厄 点 会 从 其 他 副本 
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里 找到 被 删除 的 文档 并 进行 恢复 。 删 除 集合 以 及 更 新 文档 的 情况 也 是 一 样 的 。 

相关 节点 数据 路 径 的 rollback 子 目录 中 保存 了 被 回 滚 的 写 操 作 。 针 对 每 个 有 回 滚 写 操作 的 集 
合 ， 会 创建 一 个 单独 的 BSON 文 件 ， 文 件 名 里 包含 了 回 滚 的 时 间 。 在 需要 恢复 被 回 滚 的 文档 时 ， 
可 以 用 bsondqump 工 具 来 查看 这 些 BSON 文 件 ， 并 可 以 通过 mongorestore 手 工 进行 恢复 。 

万 一 你 真 的 不 得 不 恢复 被 回 滚 的 数据 ,你 就 会 意识 到 应 该 避免 这 种 情况 ， 笠 运 的 是 ， 从 某 种 
程度 上 来 说 ,这 是 可 以 办 到 的 。 要 是 应 用 程序 能 容忍 额外 的 写 延 时 ,那么 就 能 用 上 稍 后 会 介绍 的 
写 关 注 ， 以 此 确保 每 次 (也 可 能 是 每 隔 几 次 ) 写 操作 都 能 被 复制 到 大 多 数 节 点 上 。 使 用 写 关 注 ， 
或 者 更 通用 一 点 ， 监 控 复 制 的 延 返 ， 能 帮助 你 减轻 其 至 避免 回 深 带 来 的 全 部 问题 。 

本 节 中 你 了 解 了 很 多 复制 的 内 部 细节 , 可 能 比 预想 的 还 要 多 ,但 这 些 知识 述 早 会 派 上 用 处 的 。 
在 生产 环境 里 诊断 问题 时 ， 理 解 复 制 是 如 何 工作 的 会 非常 有 用 。 






































8.2.3 ”管理 


虽然 MongoDB 提 供 了 自动 化 功能 ， 但 副本 集 其 实 还 有 些 潜在 的 复杂 配置 选项 ， 接 下 来 ,我 
将 详细 介绍 这 些 选项 。 为 了 让 配置 简单 一 些 ， 我 也 会 就 哪些 选项 是 能 被 安全 忽略 的 给 出 建议 。 

1. 配置 细 市 

这 里 我 会 介绍 一 些 与 副本 集 相 关 的 mongod 启 动 选 项 ， 并 旦 描述 副本 集 配 置 文档 的 结构 。 

@ 复制 选项 

先前 ,你 学 习 了 如 何 使 用 Shell 的 rs .initiate() 和 rs .adqd() 方 法 初始 化 副本 和 集 。 这 些 方法 
很 方便 , 但 它们 隐藏 了 某 些 副本 集 配置 选项 。 这 里 你 将 看 到 如 何 使 用 配置 文档 初始 化 并 修改 一 个 
副本 集 的 配置 。 

配置 文档 里 说 明了 副本 集 的 配置 。 要 创建 配置 文档 ， 先 为 _iaq 添 加 一 个 值 ， 要 和 传 给 
-repls et 参数 的 值 保持 一 致 4 


> config = {_id: "myapp", members: []} 
CP mYyapb, memberss ee [I] 


members 也 是 配置 文档 的 一 部 分 ， 可 以 像 下 面 这 样 进行 定义 : 
config.members.push({_id: 0, host: 'arete:40000'}) 


config.members.push({_id: 1, host: 'arete:40001'}) 
config.members.push({_id: 2, host: 'arete:40002', arbiterOnly: true}) 


你 的 配置 文档 看 起 来 应 该 是 这 样 的 : 
> config 


{ 


























1dr » "myapDe.s 
"members" : | 
{ 
Un Ue 
"nost" : "arete:40000" 
De 
{ 
ey 1 


"host" : "arete:40001" 


Le 。 2 
"host" : "arete:40002", 
"arbiterOnly" : true 


J 
] 
| 


随后 可 以 把 该 文档 作为 rs .initiate() 的 第 一 个 参数 ， 用 这 个 方法 来 初始 化 副本 集 。 

严格 说 来 , 该 文档 由 以 下 部 分 组 成 : 包含 副本 集 名 称 的 _ig 字 段 、members 数 组 (指定 了 3~12 
个 成 员 )， 以 及 一 个 可 选 的 子 文档 (用 来 指定 某 些 全 局 设置 ), 示例 副本 集 里 使 用 了 最 少 的 配置 参 
数 ， 外 加 可 选 的 arbiteronly 设 置 。 

文档 中 要 求 有 一 个 _id 字 段 ， 与 副本 集 的 名 称 相 匹 配 。 初 始 化 命令 会 验证 每 个 成 员 市 点 在 启 
动 时 是 否 痢 在 --replset 选 项 里 用 了 这 个 名 称 。 每 个 副本 集成 员 都 要 有 一 个 _id 字 段 ， 包 含 从 0 
开始 递增 的 整数 ， 还 要 有 一 个 host 字 段 ， 提 供 主 机 名 和 可 选 的 端口 。 

这 里 通过 rs .initiate() 方 法 初始 化 了 副本 集 ， 它 是 对 replSsetInitiate 命 令 的 简单 封 
站 。 因 此 ， 可 以 像 这 样 启动 副本 集 : 

db.runCommand ({replSetInitiate: config}); 

config 就 是 一 个 简单 的 变量 , 持 有 配置 文档 。 一旦 初始 化 完毕 , 每 个 集合 成 员 都 会 在 local 
数据 库 的 system.replset 集 合 里 保存 一 份 配置 文档 的 副本 。 如 果 查 询 该 集合 , 你 会 看 到 该 文档 
现在 有 一 个 版 本 写 了 。 每 次 修改 副本 集 的 配置 ， 都 必须 递增 这 一 版 本 号 。 

要 修改 副本 集 的 配置 ， 有 一 个 单独 的 方法 replSetReconfig， 它 接受 一 个 新 的 配置 文档 。 
新 文档 可 以 添加 或 删除 集合 成 员 , 还 可 以 修改 成 员 说 明和 全 局 配置 选项 。 修改 配 置 文档 、 增 加 版 
本 号 ， 以 及 把 它 传 给 replSetReconfig 方 法 ， 这 整个 过 程 很 乒 烦 ， 所 以 在 Shell 里 有 一 些 辅助 方 
法 来 简化 这 个 过 程 。 可 以 在 Shell 里 输入 rs .help () ， 查 看 这 些 辅 助 方法 的 列表 。 注 意 ,， 你 已 经 
用 过 rs .agdd() 本 。 

请 牢记 一 点 ,无 论 何 时 ,要 是 重新 配置 副本 集 导 八重 新 选举 新 的 主 广 点 ,那么 所 有 客户 并 的 
连接 都 会 被 关闭 。 这 是 为 了 确保 客户 病 不 会 癌 从 市 点 发 送 fire-and-forget 风 格 的 写 操 作 。 

如 有 果 你 对 通过 驱动 配置 副本 集 感 兴趣 的 话 ， 可 以 了 解 一 下 rs .aqda() 是 如 何 实 现 的 。 在 Shell 
提示 符 里 输入 rs .agdq (不 带 括 号 的 方法 )， 看 看 这 个 方法 的 工作 原理 。 

@ 配置 文档 选项 

到 目前 为 止 , 我们 都 局 限 在 最 徐 单 的 副本 集 配置 文档 里 。 但 这 些 文档 还 文 持 很 多 选项 ,无 论 
是 针对 副本 集成 员 还 是 整个 副本 集 。 我 们 将 从 成 员 选 项 开始 进行 介绍 。 注 意 ， 你 已 经 见 过 _ia、 
host 和 arpbiteronly 了, 下面 还 会 一 起 详细 介绍 其 他 选项 。 

口 _iq ( 必 填 ) 唯一 的 递增 整数 ， 表 示 成 员 ID。 这 些 id 值 从 0 开始 ， 每 添加 一 个 成 员 就 

加 1。 
口 host( 必 填 ) ”保存 了 成 员 主机 名 的 字符 串 ， 帘 有 可 选 的 端口 号 。 如 来 提供 了 端口 号 ， 需 
要 用 冒号 与 主机 名 分 隔 ( 例如 arete:30000 ),。 如 有 果 没 有 指定 端口 号 , 则 使 用 默认 端口 27017。 
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口 arbiteronly 一 个 布尔 值 ，true 或 false， 标 明 该 成 员 是 否 是 仲裁 节点 。 仲 裁 节 点 只 
保存 配置 数据 。 它 们 是 轻 量 级 成 员 ， 参 与 主 证 点 选举 但 本 号 不 参与 复制 。 

口 priority 一 个 0~1000 的 整数 ， 帮 助 确定 该 厄 点 被 选举 为 主 节 点 的 可 能 性 。 在 副本 集 
初始 化 和 故障 转移 时 ， 集 合 会 尝试 将 优先 级 最 高 的 节点 推选 为 主 节 点 ， 只 要 它 的 数据 是 
最 新 的 。 也 有 一 些 场 景 里 ,你 希望 蘑 个 市 点 永远 都 不 会 成 为 主 市 点 (比方 说 ， 一 个 位 于 
从 数据 中 心 的 灾难 恢复 和 节点) 在 这 些 情况 中 , 可 以 把 优先 级 设置 为 0。 遇 到 isMaster () 
命令 ， 刘 有 优先 级 0 的 节点 会 被 标记 为 被 动 节 上 点， 永远 都 不 会 被 选举 为 主 节 点 。 

D votes 所 有 副本 集成 员 默 认 都 有 一 票 。votes 设 置 让 你 能 给 某 个 单独 的 成 员 更 多 投票 。 
如 果 要 使 用 该 选项 ， 请 格外 小 心 。 首 先 ， 在 各 个 成 员 的 投票 数 不 一 致 时 ， 很 难 推测 副本 
集 的 故障 转移 行为 。 其 次 ， 绝 大 多 数 生 产 部 署 环 境 里 ， 每 个 成 员 只 有 一 票 的 配置 工作 得 
都 十 分 理想 。 因 此 ， 要 是 确定 要 修改 某 个 指定 成 员 的 投票 数 ， 一 定 要 经 过 深思 唤 感 ， 并 
仔细 模拟 各 种 故障 场景 。 

口 higqden 一 个 布尔 值 ， 如 果 为 Lrue， 在 isMaster 命 令 生 成 的 啊 应 里 则 不 会 出 现 该 节点 。 
为 MongoDB 驱 动 依赖 于 isMaster 来 获取 副本 集 的 拓扑 情况 ,所 以 隐藏 一 个 成 员 能 避 倪 驱 
动 目 动 访问 它 。 该 设置 能 同 buildIndexes 协 同 使 用 ,使 用 时 必须 有 slaveDelay。 

口 puildIndexes 一 个 布尔 值 ， 默 认为 true， 确 定 该 成 员 是 否 会 构建 索引 。 仅 当 该 成 员 
永远 不 会 成 为 主 方 点 时 (那些 优先 级 为 0 的 方 点 ), 才能 将 它 设置 为 false。 该 选项 是 为 那 
些 只 会 用 作 备 份 的 万 点 设计 的 。 如 条 备份 索引 很 重要 ， 那 么 就 不 要 使 用 它 。 

口 slaveDelay 指定 从 市 点 要 比 主 市 点 延迟 的 秒 数 。 该 选项 只 能 用 于 永远 不 会 成 为 主 市 
点 的 和 点 。 所 以 如 果 要 把 slaveDelay 设 置 为 大 于 0 的 什 ， 务 必 保 证 将 优先 级 设置 为 0。 
可 以 通过 延迟 从 万 点 来 抵御 某 些 用 户 错误 。 人 例如， 如果 有 一 个 延 民 30 分 钟 的 从 布点 ， 管 
理 员 不 小 心 删除 了 数据 库 ， 那 么 在 问题 扩散 之 前 ， 你 有 30 分 钟 做 出 反应 。 

口 tags 包含 一 个 任意 键 值 对 集合 的 文档 ， 通 常用 来 标识 成 员 在 某 个 数据 中 心 或 机 架 的 位 
置 。 标 签 被 用 来 指定 写 关 注 的 粒度 和 读 设置 ( 8.4.9 节 里 会 做 详细 的 讨论 )。 

以 上 就 是 针对 单个 副本 集成 员 的 所 有 选项 。 还 有 两 个 全 局 副本 集 配置 参数 ， 位 于 settings 

键 中 。 在 副本 集 配置 文档 里 ， 它 们 是 这 样 的 : 

{ 


settings: { 
getLastErrorDefaults: {w: 1}, 









































getLastErrorModes: { 
multiDC: { dc: 2 } 
} 
} 
} 


口 getLastErrorDefaults 当 客 户 端 不 带 人 参数 调用 getLastErzror 时 ， 默 认 的 参数 是 由 
这 个 文档 指定 的 。 要 谍 层 对 得 该 选项 , 因为 它 也 可 能 设置 了 驱动 中 getLastError 的 全 局 
默认 值 , 你 可 以 想象 这 样 一 种 情况 : 应 用 程序 开发 者 调用 了 getLastError, 但 他 没有 意 
识 到 管理 员 在 服务 硕 上 指定 了 一 个 默认 值 。 
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关于 getLastError 更 详细 的 信息 ,可 以 查看 3.2.3 节 与 瑟 关 注 相 关 的 部 分 ,人 简单 起 见 ， 
要 指定 所 有 写 操作 都 要 在 500 ms 内 被 复制 到 至 少 两 个 成 员 上 ， 可 以 像 这 样 进 行 配 置 : 
settings: { getLastErrorDefaults: {w: 2, wtimeout: 500} }。o 
UD getLastErrorModes 为 getLastError 命 令 定义 了 额外 模式 的 文档 。 这 个 特性 依赖 于 
副本 集 标签 ， 详 见 8.4.4 广 。 
2. 副本 集 状 态 
通过 rep1SetGetStatus 命 令 能 够 看 到 副本 集 及 其 成 员 的 状态 。 要 在 Shell 里 调用 该 命令 ， 
可 以 运行 xs.status () 辅助 方法 。 结 采 文 档 标 识 了 现存 成 员 及 其 各 目的 状态 、 正 常 运行 时 间 和 
oplog 时 间 。 了 解 副本 集成 员 的 状态 是 非常 重要 的 ; 在 表 8-1 里 可 以 看 到 完整 的 状态 值 列表 。 


表 8-1 副本 集 状态 
































状 态 状态 字符 串 说 明 

0 STARTUP 表示 慷 上 正在 通过 ping 与 其 他 廊 扩 沟通 ,分享 配置 数据 

] 人 这 是 主 节 点 。 副 本 集 总 是 有 且 仅 有 一 个 主 节点 

2 SECONDARY 这 息 只 读 的 从 而 点 。 该 市 点 在 故障 转移 时 可 能 会 成 为 主 市 点, 当 且 仅 当 其 优先 级 
大 于 0 并 且 没 有 被 标记 为 隐藏 时 

3 RECOVERING 该 市 点 不 能 用 于 读 写 操作 。 通 笛 会 在 故障 转移 或 旅 加 新 节点 后 看 到 这 个 状态 。 在 
恢复 时 ， 数 据 文件 通常 正在 同步 中 ， 可 以 查看 正在 恢复 的 廊 点 的 日 志 进 行 验证 

4 FATAL 网 络 连接 仍然 建立 着 , 但 市 点 对 ping 没 啊 应 了 。 廊 点 被 标记 为 FATAL, 通 第 说 明 


托管 该 证 点 的 机 絮 发 生 了 致命 错误 





5 STARTUP2 初始 数据 文件 正在 同步 中 

6 UNKNOWN 还 在 等 待 建立 网 络 连 接 

a ARBITER 该 市 点 是 仲裁 市 点 

8 DOWN 该 节点 早 些 时 候 还 能 访问 并 正常 运行 ， 但 现在 对 “心跳 ”检测 没 应 答 了 
9 ROLLBACK 正在 进行 回 深 








当 所 有 节点 的 状态 都 是 1、2 或 7， 并 且 至 少 有 一 个 节点 是 主 节 点 时 ， 可 以 认为 副本 集 是 稳定 
且 在 线 的 。 可 以 在 外 部 脚本 里 使 用 replsetGetstatus 命 令 来 监控 全 局 状态 、 复 制 延 时 以 及 正常 
运行 时 间 ， 建 议 在 生产 环境 部 署 中 这 样 做 。™ 

3. 故障 转移 与 恢复 

你 在 示例 副本 集 里 已 经 看 过 儿 个 故障 转移 的 例子 了 。 这 里 , 我 总 结 一 下 故障 转移 的 规则 ， 提 
供 几 个 处 理 恢复 的 建议 。 

当 配 置 中 的 所 有 成 员 都 能 和 其 他 成 员 通 信 时 , 副本 集 就 能 上 线 了 。 每 个 节点 默认 都 有 一 票 投 
票 ， 那 些 投 票 最 终 会 帮助 得 出 投票 结果 ， 选 出 主 节点 。 这 意味 着 只 要 两 个 节点 ( 和 投票 ) 就 能 启 
动 副 本 集 了 。 但 初始 的 投票 数 还 能 决定 发 生 故 障 转移 时 ， 什 么 才能 构成 多 数 节点 。 

让 我 们 假设 你 配置 了 一 个 由 三 个 完整 副本 (没有 仲裁 节点 ) 组 成 的 副本 集 ， 这 也 达到 了 自动 

















J 除了 运行 状态 命令 ， 还 可 以 通过 Web 控 制 侣 看 到 有 用 的 信息 。 第 10 章 讨论 了 了 Web 控制 台 ， 并 给 出 了 一 些 结合 副本 
集 的 使 用 示例 。 
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故障 转移 的 推荐 最 小 配置 。 如 果 主 节点 发 生 故 障 了 , 剩 下 的 从 节点 仍 能 看 到 对 方 ,那么 就 能 选 出 
新 的 主 节 点 。 如 何 做 出 选择 呢 ? 拥有 最 新 oplog (或 更 高 优先 级 ) 的 从 布点 会 被 选 为 主 世 点 。 

@ 故障 模式 与 恢复 

恢复 是 在 故障 后 将 副本 集 还 原 到 原始 状态 的 过 程 。 有 两 大 类 故障 需要 处 理 。 第 一 类 包含 所 请 
的 无 损 故 障 〈clean failure )， 仍 然 可 以 认为 该 方 点 的 数据 文件 是 完好 无 损 的 。 网 络 分 区 (network 
partition ) 就 是 一 个 例子 ， 奋 某 个 市 点 失去 了 与 其 他 节点 的 连接 ， 你 只 需要 每 待 重新 建立 连接 就 
行 了 , 被 分 割 开 的 和 点 也 会 重新 变 为 副本 集中 的 成 员 。 还 有 一 个 类 似 的 情况 , 某 个 节点 的 mongoa 
进程 出 于 某 些 原因 被 终止 了 ， 但 它 可 以 恢复 正常 在 线 状态 。 "同样 的 ， 一 旦 进程 重启 ， 它 就 能 
新 加 入 集合 了 。 

第 二 类 故障 包含 所 有 明确 故障 ( categorical failure )， 某 个 节点 的 数据 文件 不 存在 或 者 必须 假 
设 已 经 损坏 。 非 正常 关闭 mongod 进 程 ， 叉 没有 开启 Journaling 日 志 ， 以 及 人 硬盘 朋 演 都 属于 此 类 故 
障 。 恢 复明 确 故 障 节 点 的 唯一 途径 就 是 重新 闻 步 或 利用 最 近 的 备份 完全 替换 数据 文件 ， 让 我 们 轮 
流 看 下 这 两 种 宋 略 。 

要 完全 重新 则 步 ， 在 故障 节点 上 的 某 个 空 数 据 目 录 里 启动 一 个 nongoda。 只 要 主机 名 和 端口 
号 没有 改变 ， 新 的 mongoaq 会 重新 加 入 副本 集 ， 随 后 重新 则 步 全 部 现 有 数据 。 如 果 主 机 名 或 者 端 
口号 有 变化 ， 那 么 在 mongod 重 新 上 线 后 ， 你 还 需要 重新 配置 副本 集 。 举 个 例子 ,假设 市 点 
arete:40001 的 数据 无 法 恢复 ,你 在 foobar:40000 局 动 了 一 个 新 节点 。 你 可 以 重新 配置 副本 集 ， 只 需 
抓 取 配置 文档 ， 修 改 第 二 个 节点 的 host 属 性 ， 随 后 将 其 传 给 rs .reconfig() 方 法 : 


> USe local 









































> config = db.system.replset.findonel() 


0 
ET 
"members" : | 
{ 
We 
"host" : "arete:40000" 
了 
{ 
Ute Ld 
"host" : "arete:40001" 
中 
有 
pipe Le 
"host" : "arete:40002" 
} 
] 
} 
> config.members[1] .host = "foobar:40000" 


foobar:40000 
> rs.recontig (config) 


OQ) 举例 来 说 ， 如 果 MongoDB 是 正常 关闭 的 ， 那 你 肯定 知道 数据 文件 是 好 的 。 或 者 ， 如 果 使 用 了 Journaling 日 志 ， 不 
管 是 如 何 结束 的 ，MongoDB 实 例 都 能 恢复 。 





现在 副本 集 可 以 识别 新 节点 了 ， 而 新 节点 应 该 能 从 现 有 节点 同步 数据 了 。 

除了 通过 完全 重新 则 步 进行 恢复 , 还 可 以 通过 最 近 的 备份 进行 恢复 。 通 筑 都 会 使 用 某 个 从 而 
点 来 进行 备份 `， 方 法 是 制作 数据 文件 的 快照 并 离线 存储 。 仅 当 备 份 中 的 oplog 不 比 当前 副本 集成 
员 的 oplog 旧 时 ， 才 能 通过 备份 进行 恢复 。 也 就 是 说 ， 备 份 的 oplog 里 的 最 新 操作 必须 仍 存 在 于 线 
上 oplog 里 。 可 以 用 ab .getReplicationIinfo() 提 供 的 信息 立即 确定 情况 是 否 如 此 。 在 进行 恢 
复 时 ， 不 要 忘记 考虑 还 原 备份 所 需 的 时 间 。 要 是 备份 里 最 新 的 oplog 条 目 在 从 备份 复制 到 新 机 需 
的 过 程 有 可 能 变 旧 ， 那 么 最 好 还 是 进行 完全 重新 同步 吧 。 

但 通过 备份 进行 恢复 速度 更 快 , 部 分 原因 是 不 用 从 去 开始 重新 构建 和 索引。 要 从 备份 进行 恢复 ， 
将 备份 的 数据 文件 复制 到 mongod 的 数据 路 径 里 。 应 该 会 自动 开始 重新 同步 的 ， 你 可 以 检查 日 志 
或 者 运行 rs .status () 进行 验证 。 

4. 部 署 策略 

你 已 经 知道 了 副本 集 最 多 可 以 包含 12 个 市 点 , 看 过 了 一 组 令 人 眼花 综 乱 的 配置 选项 表格 ， 以 
及 故障 转移 与 恢复 所 要 考虑 的 内 容 。 配 置 副 本 集 的 方式 有 很 多 , 但 在 本 市 中 ,我 只 会 讨论 那些 适 
用 于 大 多 数 情 况 的 配置 方式 。 

提供 自动 故障 转移 的 最 小 副本 集 配 置 就 是 先前 所 构建 的 那个 ， 包 含 两 个 副本 和 一 个 仲裁 市 
点 。 在 生产 环境 中 ， 伸 裁 节 点 可 以 运行 在 应 用 服务 硕 上 ， 而 副本 则 运行 于 目 己 的 机 带 上 。 对 于 多 
数 生 产 环境 中 的 应 用 而 言 ， 这 种 配置 既 经 济 又 高 将。 

但 是 对 于 那些 对 正常 运行 时 间 有 严格 要 求 的 应 用 程序 而 言 , 副本 集中 需要 包含 三 个 完整 的 副 
本 。 那 个 额外 的 副本 能 带 来 什么 好 处 呢 ?” 请 想象 这 样 一 个 场景 : 一 个 市 点 彻底 损坏 了 。 在 恢复 损 
坏 的 节点 时 ,你 还 有 两 个 正常 的 市 点 可 用 。 只 要 第 三 个 方 点 在 线 并 正在 恢复 (这 可 能 逢 要 几 个 小 
时 )， 副 本 集 仍 能 自动 故障 转移 到 拥有 最 新 数据 的 方 点 上 。 

一 些 应 用 程序 要 求 有 两 个 数据 中 心 来 做 元 余 ， 三 个 成 员 的 副本 集 在 这 种 情况 下 仍然 适用 。 技 
巧 在 于 让 其 中 一 个 数据 中 心 仅 用 于 灾难 恢复 。 图 8-2 就 是 一 个 例子 。 其 中 ， 主 数据 中 心 运行 了 副 
本 集 的 主 节 点 和 一 个 从 节点 ， 备 用 数据 中 心里 的 从 节点 作为 被 动 节 点 〈 优 先 级 为 0 )。 

在 这 个 配置 中 ， 副 本 集 的 主 节 点 始终 是 数据 中 心 A 里 两 个 节点 的 其 中 之 一 。 你 可 以 在 损失 任 
意 一 个 节点 或 者 任意 一 个 数据 中 心 的 情况 下 ,保持 应 用 程序 在 线 。 故 障 转移 通常 都 是 自动 的 ， 除 
非 数 据 中 心 A 的 市 点 都 发 生 了 故障 。 同 时 损失 两 个 市 点 的 情况 很 少见 ， 通常 表现 为 数据 中 心 A 完 
全 故障 或 者 网 络 分 区 。 要 迅速 恢复 ， 可 以 关闭 数据 中 心 B 里 的 节点 ， 不 带 --replSet 人 参数 进行 重 
司 。 除 此 之 外 ， 还 可 以 在 数据 中 心 B 里 局 动 两 个 新 节点 ， 随 后 强制 进行 副本 集 重 新 配置 。 照 道理 
不 该 在 大 多 数 市 点 无 法 访问 时 重新 配置 副本 集 , 但 在 紧急 情况 下 可 以 使 用 force 选 项 这 么 做 。 例 
如 ， 假 设 定义 了 一 个 新 的 配置 文档 config， 可 以 像 下 面 这 样 强制 进行 重新 配置 : 

> rs.reconfig(config, {force: true)) 

和 所 有 生产 系统 一 样 , 测试 是 关键 , 请 确保 在 类 似 于 生产 环境 的 预 发 布 环境 中 对 所 有 典型 故 
障 转移 和 恢复 场景 进行 测试 。 了 解 副本 集 在 这 些 故 障 情 况 下 会 有 何 表现 , 这 会 让 你 在 发 生 紧急 情 
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况 时 更 从 容 不 迫 、 处 乱 不 恢 。 
主 数据 中 心 从 数据 中 心 


从 市 点 


(priority = 0) | 





图 8-2 成 员 分 布 在 两 个 数据 中 心 的 三 节操 副本 集 


8.3” 主 从 复制 


主 从 复制 足 MongoDB 最 初 使 用 的 复制 范式 。 这 种 复制 易于 配置 ， 能 文 持 任意 数量 的 从 市 点。 
但 是 出 于 一 些 原因 ,我 们 不 再 推荐 在 生产 部 署 中 使 用 主 从 复制 7。 首先 ， 故障 转移 完全 是 人 工 操 
作 的 。 如 果 主 市 点 发 生 故 障 ,， 管理 员 必 须 关 闭 某 个 从 市 点 ,把 它 重 启 为 主 证 点， 随后 应 用 程序 必 
须 重 新 配置 以 指向 新 的 主 节 上 点。 其次， 恢复 很 困难 。 因 为 oplog 仅 存在 于 主 节 点 上 ， 发 生 故 障 后 
要 求 在 新 的 主 方 点 上 创建 新 的 oplog。 这 意味 着 在 发 生 故 障 时 ， 其 他 现 有 市 点 都 需要 从 新 的 主 市 
点 上 重新 进行 同步 。 

简 而 言 之 , 没有 什么 有 说 服 力 的 理由 使 用 主 从 复制 。 副本 集 才 是 正 途 ,你 应 该 使 用 这 种 复制 
J 


8.4 驱动 与 复制 


如 果 正 在 构建 应 用 程序 ， 并 且 使 用 了 MongoDB 的 复制 功能 ， 那 么 你 需要 了 解 三 个 特定 于 应 
用 的 话题 。 第 一 个 主题 与 连接 和 故障 转移 有 关 ; 随后 是 写 关注 允许 你 决定 在 应 用 程序 继续 下 一 步 
之 前 写 操作 的 复制 程度 ; 最 后 是 读 扩 展 ， 人 允许 应 用 程序 将 读 请 求 分 布 在 多 个 副本 之 间 。 我 会 依次 
讨论 这 些 话题 。 
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8.4.1 连接 与 故障 转移 


MongoDB 的 驱动 提供 了 一 套 相 对 统一 的 界面 来 连接 副本 集 。 

1. 单 市 点 连接 

你 总 是 可 以 连接 到 副本 集 里 的 单个 节点 上 。 连接 到 副本 集 的 主 市 点 和 连接 到 普通 的 单机 市 点 
(正如 我 们 全 书 中 的 例子 那样 ) 没有 什么 区 别 。 这 两 种 情况 下 ， 驱 动 都 会 初始 化 一 个 TCP 套 接 字 
连接 ， 运 行 jsMaster 命 令 。 这 条 命令 会 返回 如 下 文档 : 

("ne nc 16777216 "ek 

对 于 驱动 而 言 ， 最 重要 的 是 该 节点 的 ijsMaster 字 上 段 是 设置 为 true 的 ,这 表明 指定 节点 可 以 
是 单机 、 主 从 复制 里 的 主 节 点 或 者 副本 集 的 主 节点 。" 在 所 有 这 些 情况 里 ,市 点 都 能 写 入 ， 驱 动 
的 用 户 能 执行 各 种 CRUD 操 作 。 

但 在 耻 接 连接 到 副本 集 的 从 届 点 时 ,必须 标明 你 知道 目 己 正在 连接 从 市 点 (至少 对 大 多 数 驱 
动 而 言 需 要 如 此 )。 在 Ruby 张 动 里 ,你 可 以 带 上 :slave_ok 参 数 。 于 是 ， 直 接连 接 本 章 之 前 创建 
的 第 一 个 从 节点 的 Ruby 代 码 是 这 样 的 : 

上 

没有 :slave_ok 人 参数 , 驱动 会 抛 出 一 个 异常 , 指出 无 法 连接 到 主 节 点 。 这 个 检查 是 为 了 避免 
无 意 中 辣 从 市 点 进行 写 操 作 。 虽 然 这 种 写 操作 会 被 服务 帮 拒 绝 , 但 你 看 不 到 任何 异常 ,除非 使 用 
安全 模式 进行 操作 。 

MongoDB 假 设 你 通 党 都 会 连接 主 节 点 ; :slave_ok 参 数 可 以 用 来 作为 一 道 强制 的 健康 检查 。 

2. 副本 集 连 接 

虽然 你 能 单独 连接 副本 集 的 各 个 成 员 , 但 一 般 都 会 希望 连接 整个 副本 集 。 这 能 让 驱动 确定 哪 
个 丰 点 是 主 节 点 ， 并 在 故障 转移 时 重新 连接 新 的 主 节 点 。 

大 多 数 官 方 文 持 的 驱动 都 提供 了 连接 副本 集 的 方法 。 在 Ruby 驱 动 里 ， 可 以 创建 一 个 
ReplSetConnection 实 例 ， 传 入 种 子 节点 ( seed node ) 列表 : 


















































Mongo: :ReplSetConnection.new(['arete', 40000], ['arete', 40001]) 
驱动 内 部 会 尝试 连接 各 个 种 子 节点 ， 并 调用 isMaster 命 令 ， 该 命令 会 返回 一 些 重要 的 集合 
细节 


> db.isMaster() 
{ 


"setName" : "myapp", 
"ijsmaster" : true, 
"secondary" : false, 
"Noet en :I| 


"arete:40000", 
"arete:40001" 
j] 


(D isMaster 命 令 还 会 返回 该 版 本 服务 器 的 最 大 BSON 对 象 大 小 。 随 后 ,驱动 会 在 插入 BSON 对 象 前 验证 所 有 这 些 对 
象 是 否 满足 此 限制 。 
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| 
"arete:40002" 
ee ; 16777216; 
ele ee 

1 

一 旦 菏 个 种 子 市 点 运 回 如 上 信息 ， 了 驱动 就 拿 到 它 需 要 的 所 有 信息 了 。 现 在 它 能 连接 主 市 太 ， 
绸 次 验证 该 成 员 依然 是 主 节点 ， 然 后 允许 用 户 通过 该 节点 进行 谈 写 操作 。 啊 应 对 象 还 允许 驱动 绥 
存 剩余 的 从 节点 和 仲裁 节点 的 地 址 。 如 果 主 节点 上 的 操作 失败 , 那么 后 续 的 请 求 中 ， 驱 动 都 会 答 
试 连接 剩余 的 某 个 市 点 ， 和 直到 它 能 重新 连 上 主 方 点 。 

请 牢记 一 上 后 , 虽然 副本 集 的 故障 转移 是 日 动 的 , 但 驱动 不 会 隐藏 发 生 故 隐 这 一 事实 。 处 理 过 
程 大 致 是 这 样 的 : 首先 ， 主 节点 发 生 故 障 或 者 发 生 了 新 的 选举 。 后 续 的 请 求 会 显示 套 接 字 连 接 已 
靳 开 ， 驱 劲 就 抛 出 一 个 连接 寞 利 ， 关 闭 那 些 打开 的 连接 数据 库 的 套 接 字 。 随 后 由 应 用 程序 开发 者 
来 决定 该 怎么 办 ， 这 一 决定 依赖 于 要 执行 的 操作 和 应 用 程序 的 特定 需求 。 

请 记 住 ,在 处 理 后 续 请 求 时 ， 了 驱动 会 日 动 和 尝试 午 新 连接 ， 让 我 们 想象 几 个 场景 。 站 和 完 ， 假设 
你 只 向 数据 库 发 送 读 请 求 。 在 这 种 情况 下 ， 重 试 失败 的 读 操 作 不 会 产生 危害 ， 因 为 它 不 会 改变 数 
据 库 的 状态 。 但 是 , 骨 假 设 通 肖 还 会 丫 数 据 库 发 送 写 请 求 。 之 前 提 到 过 多 次 ,无 论 是 否 开局 安全 
模式 , 你 都 能 写 数 据 库 。 在 安全 模式 下 , 驱动 在 每 次 写 和 人 后 会 退 加 一 次 getlasterror 命 令 调 用 ， 
这 能 确保 写 操作 已 安全 到 达 并 向 应 用 程序 报告 各 种 服务 从 错误 。 不 使 用 安全 模式 时 ,驱动 只 是 们 
单 地 向 TCP 套 接 字 做 写 操 作 。 

如 来 应 用 在 没有 使 用 安全 模式 时 执行 写 入 并 发 生 故 障 转 移 ， 丈 会 产生 不 确定 的 状态 。 最 近 
癌 服 务 问 做 了 多 少 写 操作 ? 有 多 少 是 丢失 在 套 接 字 缓存 里 的 ? 向 TCP 套 接 字 做 写 操作 的 不 确定 
性 让 你 无 法 回答 这 些 问题 。 这 个 问题 有 多 严重 取决 于 应 用 程序 。 对 日 志 而 言 ， 不 安全 的 号 人 也 
许 是 可 接受 的 ， 因 为 丢失 几 条 日 志 不 会 影响 日 志 的 全 貌 ; 但 对 于 用 户 创 建 的 数据 ， 这 就 是 一 场 
灾难 。 

开局 安全 模式 后 ， 只 有 最 后 一 次 的 写 操作 会 有 问题 ; 可 能 它 已 经 到 服务 刹 了 ， 也 可 能 没有 。 
有 了 时 可 能 会 重 试 ， 也 可 能 会 抛 出 一 个 应 用 程序 错误 。 驱 动 始终 会 抛 出 一 个 异常 ; 然后 ， 开 发 者 能 
够 决定 如 何 处 理 这 些 异 向。 

不 管 什么 情况 , 重 试 一 个 操作 部 会 让 驱动 尝试 重新 连接 副本 集 。 由 于 不 同 的 驱动 在 副本 集 的 
连接 行为 上 稍 有 不 同 ， 你 应 该 查看 驱动 的 文档 了 解 详细 信息 。 













































































8.4.2 ”与 天 注 


现在 情况 已 经 很 明明 了 , 殉 认 运行 安全 模式 对 于 大 多 数 应 用 程序 都 是 合理 的 ,因为 能 够 知道 
写 操作 正确 无 总 地 到 达 主 节点 是 很 重要 的 。 但 人 们 通 并 都 会 布 望 有 更 高 级 别 的 你 证 ,与 大 注 就 能 
做 到 这 点 ， 它 允许 开发 者 指定 应 用 程序 执行 后 续 操 作 前 写 操 作 应 该 被 复制 的 范围 。 严 格 说 来 ,你 
是 通过 get lasterror 命 令 的 两 个 参数 来 控制 写 关 注 的 2 w 丰 wt 1Imeout 。 

第 一 个 参数 wv， 接受 的 值 通 党 都 是 最 近 的 写 操作 应 该 被 复制 到 的 服务 如 的 总 数 ; 第 二 个 参数 
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是 超时 ， 如 采写 操作 在 指定 毫秒 内 无 法 复制 ， 该 命令 就 会 返回 一 个 错误 。 

例如 ， 如 有 末 你 希望 写 操 作 至 少 要 复制 到 一 合 服务 希 上 ， 可 以 将 w 指 定 为 2。 如 采 硕 望 在 500 ms 
内 无 法 完成 该 复制 就 超时 ， 可 以 将 wtimeout 指 定 为 500。 请 注意 ， 如 果 不 指 定 wt imeout 的 值 ， 
而 复制 又 出 于 某 些 原因 一 埋没 有 发 生 ， 那 么 该 操作 会 一 直 阻 蹇 下 去 。 

在 使 用 驱动 时 , 不 是 通过 显 式 调用 getLastError 开 启 写 关 注 的 , 而 是 创建 一 个 写 关 注 对 象 ， 
或 者 设置 合适 的 安全 模式 选项 ; 这 依赖 于 特定 驱动 的 API。" 在 Ruby 里 可 以 像 这 样 为 一 个 操作 设 
置 写 关 广 : 

Qcollection.insert(doc, :safe => {:W => 2, :wtimeout => 200}) 

有 时， 你 只 是 想 确 保 写 操作 被 复制 到 了 大 部 分 可 用 市 点 上 ， 这 时 可 以 简单 地 将 w 值 设置 为 


majority: 


























@collection.insert (doc, :safe -> {:w => "majority"}) 

还 有 更 高 级 的 选项 。 举 例 来 说 ， 如 果 已 经 开启 了 Journaling 日 志 ， 还 可 以 通过 j 选 项 强制 让 
Journaling 日 志 同 步 到 人 磁 益 上 : 

@collection.insert(doc, :safe => {:w => 2, :j => true}) 

很 多 驱动 还 支持 为 指定 连接 或 数据 库 设 置 写 关 注 的 默认 值 。 要 了 解 如 何在 具体 场景 中 设置 写 
关注 ， 请 查看 所 用 驱动 的 文档 。 附 录 DD 中 能 找到 更 多 语言 的 例子 。 

与 关注 既 能 用 于 副本 集 ， 也 能 用 于 主 从 复制 。 如 果 查 看 1ocal 数 据 库 ， 你 会 看 到 两 个 集合 ， 
从 市 点 上 的 me 和 主 厄 点 上 的 slaves， 它 们 就 是 用 来 实现 写 关 注 的 。 每 当 从 市 点 从 主 廊 点 同步 数 
据 时 ， 主 市 点 都 会 在 slaves 集 合 里 记录 下 应 用 到 从 市 点 上 的 最 新 oplog 条 上 日 。 因 此 ， 主 节点 总 
是 能 知道 每 个 从 市 点 复制 了 什么 东西 ， 可 以 准确 地 啊 应 融 getlasterror 命 令 的 写 请 求 。 

请 记 住 , 使 用 写 关 注 时 w 值 大 于 1 会 引入 额外 的 延 时 。 可 配置 的 写 关 注 让 你 能 够 在 速度 和 持久 
性 之 间 做 出 权衡 。 如 果 使 用 了 Journaling 日 志 ， 那 么 w 等 于 1 就 已 经 能 满足 大 多 数 应 用 程序 的 需 
了 。 画 一 方面 ， 对 于 日 志 或 分 析 型 的 应 用 程序 ， 你 可 能 会 选择 同时 禁用 Journaling 日 志和 写 关 注 ， 
仅 依 靠 复 制 来 保证 持久 性 ， 这 在 发 生 故 障 时 可 能 会 丢失 一 些 写 人 的 数据 。 请 仔细 考虑 这 些 因素 ， 
在 设计 应 用 程序 时 测试 不 同 的 场景 。 


8.4.3 读 扩 展 


经 复制 的 数据 库 能 很 好 地 适用 于 读 扩 展 。 如 果 单 台 服 务 需 无 法 承担 应 用 程序 的 读 负载 , 那么 
可 以 将 查询 路 由 到 更 多 的 副本 上 。 大 多 数 驱 动 都 内 置 了 将 查询 发 送 到 从 市 点 的 功能 。 在 Ruby 驱 动 
中 ，ReplSetConnection 构 造 方法 的 一 个 选项 就 提供 了 对 该 功能 的 支持 : 


Mongo: :ReplSetConnection.new(['arete', 40000], 
['arete', 40001], :read => :secondary ) 


当 : read 参数 被 设置 为 :secondary 时 ， 连 接 对 象 会 随机 选择 一 个 附近 的 从 节点 读 取 数据 。 



























































QD) 附录 DD 中 包含 在 Java、PHP 和 C++ 里 设置 写 关注 的 例子 。 





156 第 8 草 复 制 





其 他 张 动 可 以 通过 设置 slaveok 选 项 进行 配置 ， 旋 取 从 和 点 数据 。 当 使 用 Java 驱 动 连接 副本 
集 时 ， 将 slaveok 设 置 为 true 将 以 每 个 线程 为 基础 ， 开 司 从 布点 的 负载 均衡 。 驱 动 中 的 负载 均 
衡 实现 是 为 普通 应 用 设计 的 ， 因此 可 能 无 法 适用 于 所 有 应 用 。 机 到 这 种 情况 时 ， 用户 通 常会 定制 
日 己 的 负载 均衡 实现 。 同 样 的 ， 请 查看 你 的 驱动 文档 了 解 更 多 细 广 。 

很 多 MongoDB 用 户 在 生产 环境 中 通过 复制 进行 扩展 。 但 是 ， 有 三 种 情况 复制 无 法 应 对 。 第 
一 种 情况 与 所 需 的 服务 兹 数量 有 关 ， 自 MongoDB v2.0 起 ， 副 本 集 最 多 支持 12 个 成 员 ， 其 中 7 个 可 
以 投票 。 如 果 需 要 更 多 副本 来 做 扩展 ， 可 以 使 用 主 从 复制 。 但 如 果 既 不 想 牺牲 自动 故障 转移 ， 又 
要 超过 副本 集 的 成 员 上 限 ， 那 就 需要 迁移 到 分 片 集群 上 了 。 

第 二 种 情况 涉及 那些 写 负 和 民 较 高 的 应 用 程序 。 正 如 本 章 开篇 时 所 说 的 那样 ， 从 市 点 必须 跟 上 
这 个 写 负 和 工 。 回 那些 满 负 古 做 写 操 作 的 从 市 点 发 送 读 请 求 可 能 会 妨碍 复制 。 

第 三 种 副本 扩展 无 法 处 理 的 情况 是 一 致 性 谈 。 因 为 复制 是 异步 的 , 副本 无 法 始终 反映 主 厄 点 
最 新 的 写 操 作 。 因 此 ， 如 果 应 用 程序 任意 地 从 多 个 从 市 点 读 取 数据 ， 那么 呈现 给 最 终 用 户 的 内 容 
不 能 始终 保证 是 完全 一 致 的 。 对 于 那些 主要 用 来 显示 内 容 的 应 用 程序 而 言 , 这 几乎 从 来 都 不 是 问 
题 。 但 对 于 其 他 应 用 而 言 ， 用 户 是 在 主动 操作 数据 ， 这 就 要 求 一 致 性 谈 。 在 这 些 情 况 下 ， 你 有 两 
个 选择 。 第 一 是 将 那些 需要 一 致 性 谈 的 应 用 程序 部 分 从 那些 不 需要 的 部 分 里 分 离 出 来 。 前 者 总 是 
从 主 厄 点 讯 取 数 据 ,， 后 者 可 以 从 多 个 从 节点 读 取 数据 。 当 这 种 策略 太 复 要 或 者 无 法 扩展 时 ,就 该 
采取 分 片 策略 。™ 






























































8.4.4 标签 


如 果 正 在 使 用 写 关 注 或 者 读 扩展 , 你 可 能 会 想 要 更 细 粒 度 地 进行 控制 , 控制 哪个 从 节点 接收 
写 或 讯 请求。 例如 ,假设 部 团 了 一 个 五 市 点 副本 集 ， 器 两 个 数据 中 心 : NY 和 FR。 主 数据 中 心 NY 
包含 三 个 节点 ， 从 数据 中 心 FR 包含 剩 下 的 两 个 证 点。 假设 希望 通过 写 关 注 阻 塞 请 求 ， 直 到 写 操 
作 被 复制 到 数据 中 心 FR 的 至 少 一 个 节点 上 。 以 目前 你 所 了 解 的 写 关 注 知 识 来 看 ， 没 有 什么 好 办 
法 实现 这 一 需求 。w 值 为 majority 是 没 用 的 , 因为 这 会 被 翻 译 成 值 3, 最 可 能 的 情况 是 NY 里 的 三 
个 节点 先 发 出 啊 应 。 也 可 以 将 值 设 置 为 4， 但 如 果 每 个 数据 中 心 各 损失 一 个 节点 ， 那 这 种 方法 也 
会 有 问题 。 

副本 集 标 签 可 以 解决 这 个 问题 , 它 允 许 针对 这 有 特定 标签 的 副本 集成 员 定 义 特殊 的 写 关 注 模 
式 。 要 知道 这 是 如 何 实现 的 ， 先 要 了 解 如 何 为 副本 集成 员 打 标签 。 在 配置 文档 里 ,每 个 成 员 都 有 
一 个 名 为 tags 的 键 指 向 一 个 包含 键 值 对 的 对 象 。 下 面 就 是 一 个 例子 : 

{ 












































gd- myape., 
"version" : 1, 
"members" : | 
ee 
"host" : "nyl.myapp.com:30000", 


DD 注意 ， 要 从 分 片 集群 中 获得 一 致 性 读 ， 必 须 始 终 读 取 每 个 分 片 的 主 节点 ， 而 且 必须 发 起 安全 写 操作 。 
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"tags'" 。 { n dc n 。 nNY" "rackNY" 。 An } 


host om UU 
: "NY" , "nrackNY" : "A" } 


host "ny mapb econ UU00"; 
el 


"host" : "fri.myapp.com:30000", 
中 tags 中 。 { 中 dc 中 。 中 FR 中 [ rackFR [ 。 A } 


Er 
"host" : "fr2.myapp.com:30000", 
"tags" 。 { 由 dc 由 。 由 FR 由 "rackFR 由 。 npB" } 


] ， 


settings: { 
getLastErrorModes: { 
multiDC: { dc: 2 } 】， 
multiRack: { rackNY: 2 } }, 
} 
} 
】 


这 个 带 标 签 的 配置 文档 适用 于 之 前 假设 的 跨 两 个 数据 中 心 的 副本 集 。 请 注意 , 每 个 成 员 的 标 
签 文 要 有 两 个 键 值 对 : 第 一 个 标识 了 数据 中 心 ,第 二 个 是 指定 节点 服务 融 所 在 机 以 的 名 称 。 请 记 
住 , 这 里 使 用 的 名 称 是 完全 任意 的 ， 而 且 仅 在 本 应 用 程序 的 上 下 文中 有 意义 ; 你 可 以 在 标签 文档 
中 放置 任何 东西 。 重 要 的 是 如 何 使 用 它 。 

这 时 getLastErrorModes 该 登场 了 。 它们 允许 为 qetLastError 命 令 定 义 模 式 ， 这 些 模式 
实现 了 特殊 的 写 关 注 要 求 ,在 本 例 中 , 你 定义 了 两 个 模式 , 第 一 个 是 multipc, 定义 为 {"dc":2)， 
表示 写 操作 应 该 复制 到 至 少 有 两 个 不 同 ac 值 的 节点 上 。 如 末 这 时 检查 标签 , 你 会 看 到 它 能 确保 与 
操作 已 经 传播 到 了 两 个 数据 中 心 。 第 二 个 模式 规定 了 至 少 要 有 两 个 NY 的 机 染 接 收 到 了 写 操 作 。 
这 同样 也 能 通过 标签 加 以 实现 。 

一 般 来 说 , 一 个 getLastErrorModes 人 条目 包含 一 个 文档 ， 其 中 有 一 或 多 个 键 ( 本 例 中 是 dc 
和 rackNY )， 它 们 的 值 是 整数 。 这 些 整 数 表示 菏 个 键 的 不 同 标签 值 数 量 ， 在 getLastError 命 令 
成 功 完 成 时 必须 满足 这 些 值 。 一旦 定义 好 了 这 些 模式 , 就 能 在 应 用 程序 里 将 其 用 作 w 的 值 。 例 如 ， 
在 Ruby 中 使 用 第 一 个 模式 ， 如 下 : 
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Qcollection.insert(doc, :safe => {:w => "multiDC"}) 

除了 能 让 写 关注 更 加 精细 , 标签 还 能 提供 更 粒度 化 的 控制 , 决定 哪个 副本 用 于 读 扩 展 。 可 惜 
在 本 书 编写 时 ， 针 对 标签 进行 读 操 作 的 语义 尚未 定义 或 实现 在 官方 MongoDB 驱 动 里 。 要 了 解 最 
新 进展 ， 请 查看 Ruby 驶 动 的 JRA 问 题 单 ， 参 见 https:VWjira.mongodb.org/browse/RUBY-326。 








8.5 ”小结 


综 上 所 述 ， 复 制 功能 十 分 有 用 ， 而 且 在 大 多 数 部 署 环 境 中 都 是 必 不 可 少 的 。MongoDB 的 复 
制 比较 人 徐 单 ,配置 通 稍 也 很 方便 。 但 在 需要 备份 和 故障 转移 时 ， 还 是 隐藏 了 一 定 复杂 性 的 。 针 对 
这 些 复杂 的 情况 ,希望 经 验 和 本 草 内 容 能 给 你 市 来 一 定 帮 助 。 











本 章 内 容 

口 分 乒 的 概念 

口 配置 并 加 载 示例 分 片 集群 
口 管理 与 故障 转移 





MongoDB 在 设计 之 初 就 文 持 分 片 ， 这 是 一 个 宏伟 的 目标 ， 因 为 要 构建 一 个 文 持 上 自动 基于 范 
围 进 行 分 区 和 负载 均衡 , 并 且 没 有 单 点 故障 的 系统 是 非常 困难 的 。 对 生产 级 分 片 的 支持 最 早出 现 
在 2010 年 8 月 发 布 的 MongoDB v1.6 里 ,上 自 那 以 后 ,分 片子 系统 经 历 了 无 数 的 改进 。 高 效 地 分 片 能 
让 用 户 在 方 点 间 均 匀 分 布 大 量 数 据 ， 并 按 需 增加 容量 。 本 间 ， 我 会 介绍 MongoDB3 引 | 以 为 采 的 分 
片 机 制 。 

首先 是 分 片 的 概述 ， 讨 论 什 么 是 分 片 ， 为 什么 它 这 么 重要 ， 以 及 在 MongoDB 里 它 是 如 何 实 
现 的 。 虽然 这 能 让 你 了 解 基本 的 分 片 知 识 , 但 在 动手 配置 目 己 的 分 乒 集 群 前 ， 你 都 无 法 完全 苔 握 
它 。 而 这 正 是 你 在 第 二 节 里 要 做 的 : 构建 一 个 示例 集群 ， 托 管 一 个 与 Google Docs 类 似 的 应 用 程 
序 的 大 量 数 据 。 我 们 随后 会 讨论 一 些 分 厂 机 制 , 描述 查询 与 索引 是 如 何在 分 厂 里 工作 的 。 我们 还 
会 了 解 到 如 何 选择 分 请 键 ,这 点 至 关 重 要 。 本 章 结 尾 处 ,我 将 给 出 很 多 在 生产 环境 中 运行 分 搬 的 
具体 建议 。 

分 片 是 很 复杂 的 ， 要 想 学 好 本 章 的 内 容 ,， 你 应 该 运行 其 中 的 示例 。 在 一 台 机 融 上 运行 示例 集 
群 应 该 不 成 问题 ; 一 旦 成 功 运 行 ， 你 就 可 以 动手 进行 试验 7 了。 要 想 理解 作为 分 布 式 系统 的 
MongoDB, 没有 什么 比 拥 有 一 个 分 片 集群 更 好 的 了 。 


9.1 分 片 概 述 


在 你 构建 第 一 个 分 片 集群 之 前 ， 有 必要 理解 什么 是 分 片 以 及 为 什么 有 时 它 能 适用 。 为 什 
么 分 片 很 午 要 ?对 此 的 说 明 是 整个 MongoDB 项 目的 核心 选择 理由 之 一 。 一旦 理解 了 为 什么 分 
上 斤 如 此 重要 ， 你 将 欣喜 地 了 解 到 组 成 分 斤 集 群 的 核心 组 件 ， 还 有 构成 MongoDB 分 请 机 制 的 天 
键 概念 。 
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9.1.1 何谓 分 片 


到 目前 为 止 ， 你 都 是 把 MongoDB 当 做 一 侣 服务 需 在 用 ， 每 个 nongod 实 例 都 包含 应 用 程序 数 
据 的 完整 副本 。 就 算 使 用 了 复制 ， 每 个 副本 也 都 完整 克隆 了 其 他 副本 的 数据 。 对 于 大 多 数 应 用 程 
序 而 言 ,在 一 台 服 务 帮 上 保存 完整 数据 集 是 完全 可 以 接受 的 。 但 随 者 数据 量 的 增长 ， 以 及 应 用 程 
友 对 读 写 否 吐 量 的 要 求 越 来 越 高 ,普通 服务 各 渐渐 显得 捉襟见肘 了 。 尤其 是 这 些 服 务 硕 可 能 无 法 
分 配 是 够 的 内 存 , 或 者 没有 足够 的 CPU 核 数 来 有 效 处 理工 作 负 和 三。 除 此 之 外 , 随 着 数据 量 的 增长 ， 
要 在 一 块 磁盘 或 一 组 RAID 阵 列 上 保存 和 管理 备份 如 此 大 规模 的 数据 集 也 变 得 不 太 现 实 了 。 如 采 
还 想 继续 使 用 普通 人 硬件 或 者 虚拟 硬件 来 托管 数据 库 , 那么 针对 这 类 问题 的 解决 方案 就 是 将 数据 库 
分 布 在 多 台 服 务 右 上 。 这 种 方法 称 为 分 片 。 

为 数 众多 的 Web 应 用 程序 ， 知名 的 有 Flickr 和 LiveJournal， 都 实现 了 手动 分 片 ， 将 负载 分 布 到 
多 台 MySQL 数 据 库 上 。 在 这 些 实现 中 ,分 厂 逻 辑 都 寄生 于 应 用 程序 之 中 。 要 明日 这 是 如 何 实现 
的 ， 想 象 一 下 ,假设 你 有 很 多 用 户 ， 需 要 将 Users 表 分 布 到 多 台数 据 库 服务 硕 上 。 你 可 以 指定 一 
台数 据 库 作为 元 数据 库 。 这 人 台数 据 库 包含 每 个 用 户 ID (或 者 用 户 ID 范围 ) 到 指定 分 片 映射 关系 的 
元 数据 。 因 此 ,要 查询 一 个 用 户 实际 涉及 两 次 查询 : 第 一 次 查询 访问 元 数据 库 以 获得 用 户 的 分 片 
位 置 ， 第 二 次 查询 直接 访问 包含 用 户 数 据 的 分 片 。 

对 于 这 些 Web 应 用 程序 而 言 ， 手 动 分 片 解决 了 负载 问题 ， 但 其 实现 并 非 无 懈 可 击 。 最 明显 的 
问题 是 迁移 数据 非 浓 困难 。 如 果 单 个 分 斤 负 载 过 重 , 将 其 中 的 数据 迁移 到 其 他 分 斤 的 过 程 完全 是 
手动 的 。 手 动 分 片 的 第 二 个 问题 在 于 要 编写 可 靠 的 应 用 程序 代码 对 读 写 请 求 进 行路 由 , 并 且 将 数 
据 库 作为 一 个 整体 进行 管理 , 这 也 是 非常 困难 的 。 最 近 出 现 了 一 些 管理 手动 分 片 的 框 名 ， 最 车 名 
的 就 是 Twitter 的 Gizzard ( 详 见 http:/mng.bz/4qvd )。 

但 正如 那些 手动 分 片 数 据 库 的 人 所 说 的 ， 要 把 事情 做 好 并 非 易 事 。MongoDB 中 有 一 大 块 工 
作 就 是 为 了 解决 该 问题 。 因 为 分 片 是 MongoDB 的 核心 内 容 ， 所 以 用 户 无 需 担 心 在 需要 水 平 扩展 
时 要 目 己 设计 外 置 分 片 框架 。 在 处 理 困 难 的 跨 分 厂 数 据 均衡 问题 时 ， 这 点 尤为 重要 。 这 些 代 人 码 并 
非 那 种 大 多 数 人 能 在 一 个 周末 里 写 出 来 的 东西 。 

也 许 最 值得 一 提 的 是 MongoDB 在 设计 时 为 应 用 程序 提供 了 统一 的 接口 ， 无 论 是 在 分 片 前 ， 
还 是 在 分 片 后 。 也 就 是 说 ， 在 数据 库 需 要 转换 为 分 片 染 构 时 ， 应 用 程序 代码 几乎 无 害 改 动 。 

现在 你 应 该 对 目 动 分 片 背 后 的 逻辑 有 点 感 党 了 。 在 详细 描述 MongoDB 的 分 片 过 程 前 ， 让 我 
们 俘 下 脚步 ， 回 答 另 一 个 摆 在 面前 的 问题 : 何 时 需要 分 片 ? 

何 时 分 片 

这 个 问题 的 答案 比 你 想 的 要 人 简单 得 多 ,我 们 之 前 已 经 说 过 把 索引 和 工作 数据 集 放 在 内 存 里 是 
很 重要 的 ， 这 也 是 分 片 的 主要 原因 。 如 果 应 用 程序 的 数据 集 持 续 无 限 增长 ， 那 么 迟早 有 一 天 ， 内 
存 会 容纳 不 下 这 些 数 据 。 如 果 你 正 使 用 亚马逊 的 EC2， 那 么 这 个 国 值 是 68 GB， 因 为 这 是 本 书 编 
写 时 EC2 最 大 的 实例 所 能 提供 的 内 存 总 数 。 或 者 ， 你 可 以 运行 自己 的 人 硬件， 并 使 用 远 高 于 68 GB 
的 内 存 ,， 这样 便 能 延 后 一 段 时 间 再 做 分 乒 。 但 没有 哪 台 机 天 的 内 存 是 无 限 的 ,因此 你 早晚 都 会 用 
到 分 片 。 
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不 可 否认 ,还 有 一 些 其 他 的 应 对 措施 。 举 例 来 疯 ， 如 采 你 有 目 己 的 便 件 ， 而 且 可 以 将 所 有 数 
据 都 保存 在 固态 便 盘 上 ( 它 的 成 本 越 来 越 能 为 人 所 接受 了 )， 那 么 可 以 增加 数据 内 存 比 ， 而 不 会 
为 性 能 市 来 负面 影响 。 还 有 一 种 情况 ,工作 集 是 总 数据 量 中 的 一 部 分 ,这 时 可 以 使 用 相对 较 小 的 
内 存 。 琅 一 方面 ， 如 采 有 特殊 的 与 负载 要 求 ,那么 可 以 在 数据 达到 内 存 大 小 之 前 先进 行 适 当 的 分 
片 ， 原 因 是 需要 将 负载 分 到 多 人 台 机 肖 上 ， 以 便 能 够 获得 想 要 的 与 行 吐 量 。 

无 论 哪 种 情况 ,对 现 有 系统 进行 分 片 的 决定 郡 要 基于 以 下 几 点 一 一 做 盘活 动 、 系 统 负载 以 及 
最 重要 的 工作 集 大 小 与 可 用 内 存 的 比例 。 


9.1.2 分 片 的 工作 原理 


要 理解 分 片 是 如 何 工 作 的 ,你 需要 了 解构 成 分 片 集群 的 组 件 , 理解 协调 那些 组 件 的 软件 进程 ， 
这 就 是 接 下 来 的 主题 。 

1. 分 片 组 件 

分 厂 集 群 由 分 厂 、mongos 路 由 右 和 配置 服务 各 组 成 。 我 们 所 要 讨论 的 组 件 如 图 9-1 所 示 。 
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应 用 程序 


图 9-1 MongoDB 分 片 集群 中 的 组 件 9 
@ 分 上 


MongoDB 分 片 集群 将 数据 分 布 在 一 个 或 多 个 分 片上 。 每 个 分 厂 邦 部 著 成 一 个 MongoDB 副 本 
集 , 该 副本 集 保存 了 集群 整体 数据 的 一 部 分 。 因 为 每 个 分 片 都 是 一 个 副本 集 ， 所 以 它们 拥有 自己 
的 复制 机 制 ， 能 够 日 动 进行 故障 转移 。 你 可 以 下 接连 接 单个 分 片 ， 就 像 连 接 单独 的 副本 集 那 样 。 
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但 是 ， 如 采 连 接 的 副本 集 是 分 请 集 群 的 一 部 分 ， 那 么 你 只 能 看 到 部 分 数据 。 
@ mongos 路 由 器 
如 采 每 个 分 请 都 包含 部 分 集群 数据 ， 那 么 还 需要 一 个 接口 连接 整个 集群 ， 这 就 是 nongos。 
mongos 进 程 是 一 个 路 由 和 项， 将 所 有 的 该 写 请 求 指引 到 合适 的 分 上 请 上。 如 此 一 来 ，mongos 为 客户 
剖 提 供 了 一 个 合理 的 系统 视图 。 
mongos 进 程 是 轻 量 级 量 非 持久 化 的 。 它 们 通常 运行 于 与 应 用 服务 副 相 同 的 机 和 上， 确保 对 
任意 分 片 的 请 求 只 经 过 一 次 网 络 跳 转 。 换 言 之 ， 应 用 程序 连接 本 地 的 mongos， 而 mongos 管 理 了 
指 回 单独 分 族 的 连接 。 
@ 配置 服务 器 
如 条 mongos 进 程 是 非 持 和 久 化 的 ， 那 么 必须 有 地 方 能 持久 保存 集群 的 公认 状态 ; 这 就 是 配置 
服务 六 的 工作 ， 其 中 持久 化 了 分 片 集群 的 元 数据 ， 该 数据 包括 : 全 局 集群 配置 ; 每 个 数据 库 、 集 
合 和 特定 范围 数据 的 位 置 ; 一 份 变 更 记录 ,保存 了 数据 在 分 片 之 间 进 行 迁移 的 历史 信息 。 
配置 服务 硕 中 保存 的 元 数据 是 某 些 特定 功能 和 集群 维护 时 的 重 中 之 重 。 举 例 来 说 ， 每 次 有 
mongos 进 程 司 动 ， 它 都 会 从 配置 服务 天 获取 一 份 元 数据 的 副本 。 没 有 这 些 数 据 ， 就 无 法 获得 一 
致 的 分 斤 集 群 视 图 。 该 数据 的 重要 性 对 配置 服务 天 的 设计 和 部 赣 策 略 也 有 影 啊 。 
查看 图 9-1， 你 会 看 到 三 个 配置 服务 项 ， 但 它们 并 不 是 以 副本 集 的 形式 部 署 的 。 它 们 比 异 步 
复制 要 求 更 严格 ; mongos 进 程 癌 配置 服务 咒 写 和 人 时， 会 使 用 两 阶段 提交 。 这 能 保证 配置 服务 需 
之 间 的 一 致 性 。 在 各 种 生产 环境 的 分 片 部 署 中 ,必须 运行 三 个 配置 服务 硕 ， 这 些 服务 天 都 必须 部 
署 在 独立 的 机 器 上 以 实现 元 余 。” 
现在 你 了 解 了 分 斤 集 群 的 构成 ， 但 也 许 还 对 分 斤 机 制 本 映 心 存疑 惑 。 数 据 究 竟 是 如 何 分 布 
的 ? 接 下 来 我 会 介绍 一 些 核心 分 片 操作 ， 对 此 做 出 解释 。 
2. 核心 分 片 操 作 
MongoDB 分 片 集群 在 两 个 级 别 上 分 布 数据 。 较 粗 的 是 以 数据 库 为 粒度 的 ， 在 集群 里 新 建 数 
据 库 时 ,每 个 数据 库 都 会 被 分 配 到 不 同 的 分 片 里 。 如 果 不 进行 什 么 别 的 设置 ,数据库 以 及 其 中 的 
合 永 远 都 会 在 创建 它 的 分 片 里 。 
因为 大 多 数 应 用 程序 都 会 把 所 有 的 数据 保存 在 一 个 物理 数据 库 里 , 因此 这 种 分 布 方式 市 来 的 
帮助 不 大 。 你 需要 更 细 粒 度 的 分 布 方式 ， 集 合 的 粒度 刚好 能 满足 要 求 。MongoDB 的 分 片 是 专门 
为 了 将 单独 的 集合 分 布 在 多 个 分 片 里 而 设计 的 。 要 更 好 地 理解 这 点 , 让 我 们 一 起 想象 一 下 在 真实 
的 应 用 程序 里 这 是 如 何 工作 的 。 
假设 你 正在 构建 一 套 基于 云 的 办 公 套 件 , 用 于 管理 电子 表格 , 并 日 要 将 所 有 的 数据 都 保存 在 
MongoDB 里 。 2 用户 可 以 随心 所 欲 地 创建 大 量 文档 ， 每 个 文档 都 会 保存 为 单独 的 MongoDB 文 档 
放 在 一 个 spreaqsheets 集 合 里 。 随 痢 时 间 的 流逝 ,假设 你 的 应 用 程序 发 展 到 了 拥有 100 万 用 户 。 













































































中 你 也 可 以 运行 单个 配置 服务 右 ， 但 这 只 能 作为 简单 测试 分 片 的 一 种 手段 。 在 生产 环境 里 只 用 一 台 配 置 服务 各 就 好 
比 乘坐 单 引 擎 喷气 飞机 横路 大 西洋 : 它 能 带 你 发 过去， 但 是 一 旦 失去 一 个 引擎， 你 就 得 游 汶 了。 
@) 可 以 参考 一 下 Google Docs 之 类 的 产品 ，Google Docs 人 允许 用 户 创建 电子 表格 和 演示 幻灯 片 。 
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现在 再 想 想 那 两 个 主要 集合 : users 和 spreaqsheets。users 集 合 还 比较 容易 处 理 。 就 算 有 100 
万 用 户 ， 每 个 用 户 文 档 1KB ， 整 个 集合 大 概 也 就 1 GB， 一 台 机 顺 就 能 搞定 了 。 但 spreadqsheets 
集合 就 大 不 一 样 了 ， 假 设 每 个 用 户 平 均 拥 有 50 张 电子 表格 ， 平 均 大 小 是 50 KB ， 那 么 我 们 所 谈论 
的 束 是 1 TB 的 spreadsheets 和 集合 。 要 是 这 个 应 用 程序 的 活跃 度 很 高 ， 你 会 希望 将 数据 放 在 内 存 
里 。 要 将 数据 放 在 内 存 里 并 且 分 布 谈 写 负 和 载 ， 你 就 必须 将 集合 分 片 。 这 时 分 片 就 该 登场 了 。 

@ 分 片 一 个 集合 

MongoDB 的 分 片 是 基于 范围 的 。 也 就 是 说 分 上 集合 里 的 每 个 文档 都 必须 落 在 指定 键 的 某 
个 值 范围 里 。MongoDB 使 用 所 谓 的 分 片 键 (Shard key ) 让 每 个 文档 在 这 些 范 围 里 找到 上 自己 的 
位 置 。 "从 假想 的 电子 表格 管理 应 用 程序 里 拿 出 一 个 示例 文档 ， 这 样 你 能 更 好 地 理解 分 片 键 : 

{ 


_id: ObjectId("4d6e9b89b600c2c196442c21") 
filename: "spreadsheet-1", 











. nn 
Updated at: ISODate("2011 


username: "banks", 


data: "raw document data" 

} 

在 对 该 集合 进行 分 请 时 ， 必 须 将 其 中 的 一 个 或 多 个 字段 声明 为 分 片 键 。 如 采 选 择 _ida， 那 么 
文档 会 基于 对 象 人 DD 的 汇 围 进行 分 布 ,但 是 , 出 于 一 些 原因 ( 稍 后 会 做 说 明 的 ) 你 要 基于 username 
和 _igd 声 明 一 个 复合 分 片 键 ; 因此 ， 这 些 苑 围 通常 会 表示 为 一 系列 用 户 名 。 

现在 你 需要 理解 块 ( chunk ) 的 概念 ， 它 是 位 于 一 个 分 片 中 的 一 段 连续 的 分 片 键 范围。 举例 
来 说 , 可 以 假设 aocs 集 合 分 布 在 两 个 分 片 A 和 B 上 ，, 它 被 分 成 了 如 表 9-1 所 示 的 多 个 块 。 每 个 块 的 
范围 都 由 起 始 值 和 终止 值 来 标识 。 




















表 9-1 块 与 分 片 


起 始 值 终止 值 分 上 捕 
= abbot B 
abbot dayton A 
dayton harris B 
harris norris A 
norris oo B 





粗略 扫 一 眼 表 9-1， 你 会 发 现 块 的 一 个 重要 的 、 有 些 违 反 下 觉 的 属性 ; 虽然 每 个 单独 的 块 都 
表示 一 段 连续 范围 的 数据 ， 但 这 些 块 能 出 现在 任意 分 片上 。 

关于 块 , 第 二 个 要 点 是 它们 是 种 逻辑 上 的 东西 ， 而 非 物 理 上 的 。 换言之, 块 并 不 表示 磁盘 上 
连续 的 文档 。 从 一 定 程度 上 来 说 ， 如 果 一 个 从 harris 开 始 到 nowris 结 束 的 块 存在 于 分 片上， 那么 9 
就 认为 可 以 在 分 片 A 的 docs 集 合 里 找到 分 片 键 落 在 这 个 范围 里 的 文档 , 这 和 集合 里 那些 文档 的 排 
列 没 有 任何 必然 关系 。 














Q@ 其 他 的 分 布 式 数据 库 里 可 能 使 用 分 区 键 ( partition key ) 或 分 布 键 ( distribution key ) 来 代替 分 片 键 这 个 术语 。 
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@ 拆 分 与 迁移 

分 片 机 制 的 重点 是 块 的 拆 分 ( splitting ) 与 迁移 ( migration )。 

首 先 ,考虑 一 下 块 拆 分 的 思想 。 在 初始 化 分 斤 集 群 时 ， 只 存在 一 个 块 ， 这 个 块 的 范围 涵盖 了 
整个 分 证 集合 。 那 该 如 何 发 展 到 有 多 个 块 的 分 片 集群 呢 ?” 管 案 就 是 块 大 小 达到 某 个 闷 值 时 会 对 块 
进行 拆 分 。 上 默认 的 块 的 最 大 块 尺寸 是 64 MB 或 者 100 000 个 文档 ， 先 达到 哪个 标准 就 以 哪个 为 准 。 
在 回 新 的 分 请 集 群 谎 加 数据 时 ， 原 始 的 块 最 终 会 达到 某 个 国 但 ,触发 块 的 拆 分 。 这 是 一 个 徐 单 的 
操作 ， 基 本 就 是 把 原来 的 范围 一 分 为 二 ， 这 样 就 有 了 两 个 块 ， 每 个 块 都 有 相同 数量 的 文档 。 

请 注意 ， 块 的 拆 分 是 个 逻辑 操作 。 当 MongoDB 进 行 块 拆 分 时 ， 它 只 是 修改 块 的 元 数据 就 能 
让 一 个 块 变 成 两 个 。 因 此 , 拆 分 一 个 块 并 不 影响 分 片 集合 里 文档 的 物理 顺序 。 也 就 是 说 拆 分 既 简 
单 又 快捷 。 

你 可 以 回想 一 下 ， 设 计 分 请 系统 时 最 大 的 一 个 困难 束 是 保证 数据 始终 均匀 分 布 。MongoDB 
的 分 片 集群 是 通过 在 分 片 中 移动 块 来 实现 均衡 的 。 我 们 称 之 为 迁移 ， 这 是 一 个 真实 的 物理 操作 。 

迁移 是 由 名 为 均衡 器 ( balancer ) 的 软件 进程 管理 的 ， 它 的 任务 就 是 确保 数据 在 各 个 分 片 中 
保持 均匀 分 布 。 通 过 跟踪 各 分 片上 块 的 数量 ,就 能 实现 这 个 功能 。 虽然 均衡 的 触发 会 随 总 数据 量 
的 不 同 而 变化 ， 但 是 通常 来 说 ， 当 集群 中 拥有 块 最 多 的 分 厂 与 拥有 块 最 少 的 分 厂 的 块 数 差 大 于 8 
时 , 均衡 硕 就 会 发 起 一 次 均衡 处 理 。 在 均衡 过 程 中 , 块 会 从 块 较 多 的 分 片 迁 移 到 块 较 少 的 分 片上 ， 
直到 两 个 分 户 的 块 数 大 致 相等 为 止 。 

如 果 现 在 你 还 不 太 理 解 ， 不 用 担心 。 下 一 市 里 我 会 通过 一 个 示例 集群 来 演示 分 片 ， 通过 实践 
来 进一步 前 述 分 乒 键 和 块 的 概念 。 


9.2 示例 分 片 集群 
理解 分 片 的 最 佳 途 径 就 是 了 解 它 实际 是 怎么 工作 的 ,走运 的 是 可 以 在 一 台 机 器 上 配置 分 片 集 
群 ， 接 下 来 我 们 就 会 这 么 做 , 了 还 会 模拟 上 一 节 里 提 到 的 基于 云 的 电子 表格 应 用 程序 的 行为 。 在 


此 过 程 中 , 我 们 会 仔细 查看 全 局 分 片 配置 , 通过 第 一 手 资 料 来 了 解数 据 是 如 何 基 于 分 片 键 进行 分 
区 的 。 




































































9.2.1 本 和 置 


配置 分 片 集群 有 两 个 步骤 。 第 一 步 ， 局 动 所 有 需要 的 mongod 和 mongos 进 程 。 第 二 步 ， 也 是 
比较 人 简单 的 一 步 , 发 出 一 系列 命令 来 初始 化 集群 。 你 将 构建 的 分 片 集群 由 两 个 分 片 和 三 个 配置 服 
务 硕 组成， 另外 还 要 局 动 一 个 mongos 与 集群 通信 。 你 要 局 动 的 全 部 进程 如 图 9-2 所 示 ， 括 号 里 是 
它们 的 端口 号 。 





QD 为 了 进行 测试 ,你 可 以 在 单 台 机 器 上 运行 各 个 mongod 和 mongos 进 程 。 在 本 章 后 续 的 内 容 里 ,我 们 会 看 到 生产 环 
境 下 的 分 片 配 置 ， 以 及 一 套 切 实 可 行 的 分 片 部 署 所 需 的 最 小 服务 需 数 量 。 











你 要 运行 一 堆 命 


mongod 
(30000) 


mongod 
(30001) 











9.2 示例 分 片 集群 


mongod 
(30100) 


mongod 
仲裁 让 所 
(30102) 


mongod 
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EPE ER aa 
县 多 如 县 罗 名 ‘mongos | 
(27019) (27020) | (40000) |] 
读 写 
置 
服务 加 Ruby 应 用 程序 
(27021) (load.rb) 
配置 集群 应 用 与 路 由 器 
图 9-2 ”由 示例 分 厂 集 群 构成 的 进程 全 貌 











张 图 。 
1. 启动 分 片 组 件 
让 我 们 开始 为 两 个 副本 集 创建 数据 目录 吧 ， 它 们 将 成 为 分 片 的 一 部 分 。 
S mkdir /data/rs-a-l 
S mkdir /data/rs-a-2 
S mkdir /data/rs-a-3 
S mkdir /data/rs-b-1 
S mkdir /data/rs-b-2 
S mkdir /data/rs-b-3 
0 
运行 在 后 台 O 2 以 下 是 启动 第 个 副本 集 的 命 HP 令 O 
S mongod --shardsvr --replSet shard-a --dbpath /data/rs-a-l \ 
--port 30000 --logpath /data/rs-a-l1l.]og --fork --nojournal 
$ mongod --shardsvr --replSet shard-a --dbpath /data/rs-a-2 \ 
--Port 30001 --logpath /data/rs-a-2.1]09g --fork --nojournal 
S mongod --shardsvr --replSet shard-a --dbpath /data/rs-a-3 \ 
--Dort 30002 --logpath /data/rs-a-3.1og --fork --nojournal 
以 下 是 启动 第 二 个 副本 集 的 命令 : 


由 注意 ， 如 果 运 行 在 Windows 上 ，fork 是 没 用 的 。 因 为 必须 打开 新 终端 窗口 来 运行 每 





项 也 忽略 了 。 


“< 


所 以 可 以 使 用 --fork 选 项 
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令 来 局 动 集群 ， 因 此 如 果 和 觉得 目 己 一 叶 障 目 ， 不见 泰山 ， 不 妨 回头 看 看 这 


它们 


井 程 ， 最 好 把 1ogpath 选 
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$s mongod --shardsvr --replSsSet shard-b --dbpath /data/rs-b-1 \ 
--PDort 30100 --logpath /data/rs-b-1.]og --fork --nojournal 
S mongod --shardsvr --replSet shard-b --dbpath /data/rs-b-2 \ 
--pPort 30101 --logpath /data/rs-b-2.1]09g --fork --nojournal 
S mongod --shardsvr --replSet shard-b --dbpath /data/rs-b-3 \ 
--PDort 30102 --logpath /data/rs-b-3.1og --fork --nojournal 


如 往 和 党 一样， 现在 要 初始 化 这 些 副本 集 了 。 单 独 连 上 每 个 副本 集 ， 运行 rs. initiate()， 
随后 添加 剩余 的 节点 。 第 一 个 副本 集 上 的 命令 是 这 样 的 : ” 


S mongo arete:30000 
> rs.initiatel() 


大 概 一 分 钟 之 后 ， 初 始 节 点 就 变 成 主 节 点 了 ， 随 后 就 能 添加 剩余 的 和 点 了 : 
> rs.add("arete:30001") 
> rs.add("arete:30002", {arbiterOnly: true}) 


初始 化 第 二 个 副本 集 的 方法 与 之 类 似 。 在 运行 rs . initiate () 后 等 待 一 分 钟 : 
mongo arete:30100 
rs.initiate!() 


rs.add("arete:30101") 
rs.add("arete:30102", {arbiterOnly: true}) 


最 后 ， 在 每 个 副本 集 上 通过 Shell 运 行 rs .status () 命 今 ， 验 证 一 下 两 个 副本 集 是 否 正 常 运 
行 。 如 果 一 切 顺 利 ， 就 可 以 准备 启动 配置 服务 器 了 。 2 现在， 创建 每 个 配置 服务 器 的 数据 目录 ， 
通过 configsvr 选 项 启动 各 个 配置 服务 磊 的 mongod 进 程 。 


$s mkdir /data/config-1 
$s mongod --configsvr --dbpath /data/config-1 --port 27019 \ 
--logpath /data/config-1.1og --fork --nojournal 





eps 


Vv VY VY 











$s mkdir /data/config-2 
$s mongod --configsvr --dbpath /data/config-2 --port 27020 \ 
--logpath /data/config-2.10g --fork --nojournal 


$s mkdir /data/config-3 
$s mongod --configsvr --dbpath /data/config-3 --port 27021 \ 
--logpath /data/config-3.109g --fork --nojournal 


用 Shell 连 接 或 者 查看 日 志文 件 , 确保 每 台 配 置 服务 需 都 已 局 动 并 已 正常 运行 , 并 验证 每 个 进 
程 都 在 监听 配置 的 端口 。 查 看 每 台 配 置 服务 器 的 日 志 ， 应 该 能 看 到 这 样 的 内 容 : 


Wed Mar 2 15:43:28 [initandlisten] waiting for connections on port 27020 
Wed Mar 2 15:43:28 [websvr] web admin interface listening on port 28020 


如 果 每 个 配置 服务 器 都 在 运行 了 ， 那 么 就 能 继续 下 一 步 ， 启 动 mongos。 必 须 用 configdb 
选项 来 启动 mongos， 它 接受 一 个 用 喜 号 分 隔 的 配置 服务 融 地 址 列表 : 


$ mongos --configdb arete:27019,arete:27020,arete:27021 \ 
--logpath /data/mongos.109g --fork --port 40000 
































(DD arete 是 本 地 主机 的 名 字 。 
@) 同样 的 ， 如 果 是 运行 在 Windows 上 ， 忽 略 --fork 和 -1ogpath 选 项 ， 在 新 窗口 里 启动 各 个 mongod。 
@) 在 配置 列表 时 要 小 心 ， 不 要 在 配置 服务 器 地 址 间 加 入 空格 。 
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2. 配置 集群 

现在 已 经 准备 好 了 所 有 的 组 件 ， 是 时 候 来 配置 集群 了 。 先 从 连接 mongos 开 始 。 为 了 简化 任 
务 , 可 以 使 用 分 片 辅助 方法 ,它们 是 全 局 sh 对 象 上 的 方法 。 要 查看 可 用 辅助 方法 的 列表 , 请 运行 
ni helo()s 

你 将 键入 一 系列 配置 命令 ， 先 从 addshargd 命 令 。 该 命令 的 辅助 方法 是 sh.addshard(), 它 
接受 一 个 字符 串 ， 其 中 包含 副本 集 名 称 ， 随 后 是 两 个 或 多 个 要 连接 的 种 子 节点 地 址 。 这 里 你 指定 
了 两 个 先前 创建 的 副本 集 ， 用 的 是 每 个 副本 集中 非 仲裁 节点 的 地 址 : 


$ mongo arete:40000 
> sh.addShard ("shard-a/arete:30000,arete:30001") 























{ "shardAdded" : "shard—a", "Ok" » 1 
> sh.addShard ("shard-b/arete:30100,arete:30101") 
{ "shardAdded" : "shard-b", "ok" : 1 } 


如 果 命 令 执 行 成 功 ,命令 的 啊 应 中 会 包含 刚 添加 的 分 片 的 名 称 。 可 以 检查 config 数 据 库 的 
shards 集 合 , 看 看 命令 的 执行 效果 。 你 使 用 了 getsipblingDB () 方 法 来 切换 数据 库 , 而 非 use 命 令 : 
> db.getSiblingDB ("config") .shards.ftind!() 


{ "_id" : "shard-a", "host" : "shard-a/arete:30000,arete:30001" } 
{ "_id" : "shard-b", "host" : "shard-b/arete:30100,arete:30101" } 


listshards 命 令 会 返回 相同 的 信息 ， 这 是 一 个 快捷 方式 : 


> use admin 
> db.runCommand ({listshards: 1}) 


在 报告 分 片 配置 时 ，Shell 的 sh .status () 方 法 能 很 好 地 总 结集 群 的 情况 。 现 在 就 来 试 试 。 
下 一 步 配 置 是 开启 一 个 数据 库 上 的 分 片 , 这 是 对 任何 集合 进行 分 片 的 先决 条 件 。 应 用 程序 的 
数据 库 名 为 cloud-docs， 可 以 像 下 面 这 样 开局 分 证: 


> sh.enableSharding ("cloud-docs") 


和 以 前 一 样 ， 可 以 检查 config 里 的 数据 查看 刚才 所 做 的 变更 。config 数 据 库 里 有 一 个 名 为 
databases 的 集合 , 其 中 包含 了 一 个 数据 库 的 列表 。 每 个 文档 都 标明 了 数据 库 主 分 片 的 位 置 ， 以 
及 它 是 否 分 区 ( 是 否 开启 了 分 片 ): 

> db.getSiblingDB ("config") .databases.findl() 


{Td radmin MartitLoned YT foalese, rimary VGOnNntloer.} 
{uid "cloud does Dartlituvoned" -rue "Drimaryr uoehard a 


现在 你 要 做 的 就 是 分 片 spreadsheets 和 集合 。 在 对 集合 进行 分 片 时 ， 要 定义 一 个 分 片 键 。 这 
里 将 使 用 组 合 分 片 键 {fusername: 1，_id: 1}， 因 为 它 能 很 好 地 分 布 数据 ， 还 能 方便 查看 和 理 
解 块 的 范围 

> sh.shardCollection("cloud-docs.spreadsheets'", {username: 1, _id: 1}) 

同样 ， 可 以 通过 检查 config 数 据 库 来 验证 分 厂 集 合 的 配置: 

> db.getSiblingDB ("config") .collections.findone() 


{ 


"_1id" : "cloud-docs.spreadsheets", 


"lastmod" : ISODate("1970-01-16T00:50:07.2682") ， 
"dropped" : false, 

















Teey ee 
"username" : 1,， 
Wire | 

3 

"unique" : false 


" 

分 片 集合 的 定义 可 能 会 提醒 你 几 点 ; 它 看 起 来 和 索引 定义 有 儿 分 相似 之 处 ， 尤 其 是 有 那个 
unicue 键 。 在 对 一 个 空 集合 进行 分 片 时 ，MongoDB 会 在 每 个 分 片上 创建 一 个 与 分 片 键 对 应 的 索 
引 。" 可 以 直接 连 上 分 片 ， 运行 getIndexes () 方 法 进行 验证 。 此 处 ， 你 可 以 连接 到 第 一 个 分 片 ， 
方法 的 输出 包含 分 片 键 索 引 ， 正 如 预料 的 那样 : 

$ mongo arete:30000 

> use cloud-docs 

> db.spreadsheets.getIindexes ( ) 


[ 








WE 
"ns" : "cloud-docs.spreadsheets", 
Bee 
J el 
J 
va 
| 全 
{ 
"ns" : "Cloud-docs.spreadsheets", 
"key" : { 
"username" : 1, 
Ws el 
}; 
"name" : "username 1 1id 1", 
Tu 0 


} 
] 


一 旦 完成 了 集合 的 分 片 ,分 所 集群 就 准备 就 绪 了 。 现 在 可 以 回 集 群 写 人 数据 ,数据 将 分 布 到 
各 分 片上 。 下 一 节 里 我 们 会 了 解 到 它 是 如 何 工 作 的 。 


9.2.2 ”与 入 分 片 集 群 


我 们 将 回 分 片 集合 号 入 数据 ， 这 样 你 才能 观察 块 的 排列 与 移动 。 块 是 MongoDB 分 片 的 要 系 。 
每 个 示例 文档 者 表示 了 一 个 电子 表格 ， 看 起 来 是 这 样 的 : 


{ 
_id: ObjectId("4d6f29c0e4ef0123afdacaeb")， 


filename: "sheet-1", 
updated at: new Date()， 
username: "banks", 


data: "RAW DATA" 
} 





GD 如 果 是 在 对 现 有 集合 进行 分 片 ， 必 须 在 运行 shardqcollection 命 令 前 创建 一 个 与 分 片 键 对 应 的 索引 。 
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请 注意 ，data 字 上 段 会 包含 一 个 5 KB 的 字符 串 以 模拟 原始 数据 。 


本 书 的 源 代码 中 包含 一 个 Ruby 脚 本 , 你 可 以 用 它 丫 集群 写 入 文档 数据 。 该 脚本 接受 一 





次 数 作 为 参数 ， 每 个 循环 里 都 会 为 200 个 用 户 各 插入 5 KB 的 文档 。 脚 本 的 源码 如 下 : 


regquire 'rubygems' 


require 'mongo,'! 


require 'names'! 


Qcon = Mongo: :Connection.new("localhost", 40000) 
Qcol = @con[l'cloud -docs']['spreadsheets'] 
Gdata = "abcde" * 1000 


def write user docs(iterations=0, name count=200) 


iteratlionest ine do ll 
name_count.times do |n| 
doc = { :filename => "sheet-#{n}", 
:Updated at => Time.now.utc, 
:username => Names::LISTI[n], 
:data => @data 


} 
Qcol.insert (doc) 


end 
end 
end 
if ARGV.empty? || !(ARGV[0] =~ /^d+$/) 
Puts "Usage: load.rb [iterations] [name count] 
else 


jterations = ARGV[I0O] .to 1 


1if ARGV[1] && ARGV[1] =~ /^d+$/ 
name_count = ARGV[1] .to 1 
else 
name_ count = 200 
end 


write user docs(iterations, name count) 


end 


如 打手 头 有 脚本 ， 可 以 在 命令 行 里 不 带 参 数 运行 脚本 ， 它 会 循环 一 次 ， 搬 和 200 个 值 : 





S ruby load.rb 
现在 ， 通 过 Shell 连 接 mongos。 如 果 查 询 spreadsheets 集 合 ， 你 会 发 现 其 中 包含 200 个 文 
档 ， 总 大 小 在 1 MB 左右 。 还 可 以 查询 一 个 文档 , 但 要 排除 人 gata 字 段 ( 你 不 想 在 屏幕 上 输出 SKB 
文本 吧 )。 


S mongo arete:40000 

> use cloud-docs 

> db.spreadsheets.count() 
200 





1019496 
> db.spreadsheets.findone({}, {data: 0}) 


| 


"_id" : ObjectId("4d6d6b191d41c8547d0024c2")， 
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个 循环 


"username" : "Cerny", 
"updated at'" : ISODate(" "2011-03-01T21:54:33.8132Z"), 
"filename" : "sheet-0" 


} 
现在 ， 可 以 检查 一 下 整个 分 刻 范 围 里 发 生 了 什么 ,切换 到 config 数 据 库 ， 看 看 块 的 个 数 : 


> use config 


> db.chunks.count() 
1 


目前 只 有 一 个 块 ， 让 我 们 看 看 它 什 么 样 : 
> db.chunks.findOne!l) 
{ 





' id" : "cloud-docs.spreadsheets-username MinKey_iqd MinKey", 
"lastmod" : { 
OO 了 
Wa 
外 
"ns" : "Cloud-docs.spreadsheets", 
vm °° 
"usSername" : 1{ SminKey : 1 }, 
人 
Lb 
"max" : { 
"username" : { SmaxKey : 1 }, 
" id" : { SmaxKey : 1 } 
5 
"shard" : "shard-a" 


) 
你 能 说 出 这 个 块 所 表示 的 范围 吗 ? 如 果 只 有 一 个 块 , 那么 它 的 范围 是 这 个 分 片 集合 。 这 是 由 
min 和 max 字 段 标识 的 ， 这 些 字 段 通 过 sminKey 和 smaxKey 限 定 了 块 的 范围 。 











MINKEY 与 MAXKEY 
作为 BSON 类 型 的 边界 ，sSminKey 与 SmaxKey 常 用 于 比较 操作 之 中 。sminKey 总 是 小 于 所 
有 BSON 类 型 ,而 smaxKey 总 是 大 于 所 有 BSON 类 型 ,因为 给 定 的 字段 值 能 包含 各 种 BSON 类 型 ， 
所 以 在 分 片 集合 的 两 端 ，MongoDB 使 用 这 两 个 类 型 来 标记 块 的 端点 。 











通过 问 spreadqsheets 集 合 添 加 更 多 数据 , 你 能 看 到 更 有 趣 的 块 范 围 。 还 是 使 用 之 前 的 Ruby 
脚本 ， 但 这 次 要 循环 100 次 ， 回 集合 中 插 和 人 20 000 个 文档， 总 计 100 MB : 

$s ruby load.rb 100 

可 以 像 下 面 这 样 验 证 插入 是 否 成功 : 

> db.spreadsheets.count!() 

20200 


> db.spreadsheets.stats().size 
103171828 
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样本 插入 速度 


注意 ,向 分 片 集群 插入 数据 需要 花 好 几 分 钟 时 间 。 速度 如 此 之 慢 有 三 个 原因 。 首先 , 每 次 
插入 都 要 与 服务 器 交互 一 次 ， 而 在 生产 环 pe nn 其 次 ， 你 是 在 使 用 Ruby 进 
行 插 入 ，Ruby 的 BSON 序 列 器 要 比 其 他 某 些 驱动 的 慢 。 最 后 ， 也 是 最 重要 的 ， 你 是 在 一 台 机 器 
上 运行 所 有 分 片 节点 的 , 这 为 磁盘 带 来 了 巨大 的 负担 ,因为 四 个 节点 正在 同时 向 磁盘 写 入 数据 
(两 个 副本 集 的 主 节点 ， 以 及 两 个 副本 集 的 从 节点 )。 有 理由 相信 ， 在 适当 的 生产 环境 部 署 中 ， 
插入 的 速度 会 快 许多 。 


插入 了 这 么 多 数据 之 后 ， 现 在 肯定 有 不 止 一 个 块 了 。 可 以 统计 chunks 集 合 的 文档 数 快 速 检 
在 志 的 其 坊 :一 


> use config 
> db.chunks.count() 
10 


运行 sh .status() 能 看 到 更 详细 的 信息 ， 该 方法 会 输出 所 有 的 块 以 及 它们 的 范围 。 人 简单 起 
见 ， 我 只 列 出 头 两 个 块 的 信息 : 


> Sn.Sstatus ( ) 





sharding version: { " id" : 1, "version" » 3 1} 
shards: 
{J Id":. shard=a",. "host: “ehard=a/arete S0000 . aretes S000L™ 
{ "jd": "shard-b", "host": "shard-b/arete:30100,arete:30101" } 
databases: 
{ " 1d"w "agdmin”, "partitLrioned': false, "PrimaryY": "Config } 
人 "Partitioned": false, "primary": "shard-a" } 
{Td eleoud docesy "Dartitlioned, tue, "Primary": "shard-b" } 
shard-a 5 
shard-b 5 
{ "username": { SminKey : 1 }, " id" : { SminKkey : 1 } } -- 
>> { "username": "Abdul", 
"_1id": ObjectIid("4e89ffe7238d3be9f0000012") } 
on chard oat TE E200000 "TT. .500 
{ "username" : "Abdul", 
"_ id" : ObjectId("4e89ffe7238d3be9f0000012") } -->> f{ 
"Username" : "Buettner" 
Td" Obiectrid(" 4e8a00a0238d3be9f0002e98") } 
on ehard aBt{t E30000 TO) 








情况 明显 不 同 了 ， 现 在 有 10 个 块 了 。 当 然 ， 每 个 块 所 表示 的 是 一 段 连续 范围 的 数据 。 可 以 看 
到 第 一 个 块 由 sminKey 到 Abqul 的 文档 构成 ， 第 二 个 块 由 Abdul 到 Buettnet 的 文档 构成 。 不仅 
块 变 多 了 ， 志 还 迁移 到 了 第 二 个 分 片上 。 通 过 sh.status() 的 输出 能 看 到 这 个 变化 ， 但 还 有 更 
简单 的 方法 ， 








J 如 果 你 是 跟着 示例 一 路 做 下 来 的 ， 会 发 现 目 己 的 块 分 布 与 示例 稍 有 不 同 。 
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> db.chunks.count({"shard": "shard-a"}) 
5 
> db.chunks.count({"shard": "shard-b"}) 
5 


集群 的 数据 量 还 不 大 。 拆 分 算法 表明 会 经 常 发 生 数 据 拆 分 ， 正 如 你 所 见 ， 这 能 在 早期 就 实 
现 数据 和 块 的 均匀 分 布 。 从 现在 开始 ， 只 要 写 操作 在 现 有 块 范围 内 保持 均匀 分 布 ， 就 不 太 会 发 
生 迁 移 。 


早期 块 拆 分 
分 片 集群 会 在 早期 积极 进行 块 拆 分 ,以 便 加 快 数据 在 分 片 中 的 迁移 。 具体 说 米 ， 当 块 的 数 
量 小 于 10 时 ， 会 按 最 大 块 尺 寸 (16 MB ) 的 四 分 之 一 进行 拆 分 ; 当 块 的 数量 在 10 到 20 之 间 时 ， 
会 按 最 大 块 尺 寸 的 一 半 ( 32 MB ) 进行 拆 分 。 
这 种 做 法 有 两 个 好 处 。 首 先 ， 这 会 预先 创建 很 多 块 ， 触 发 一 次 迁移 。 其次, 这 次 迁移 几乎 
是 无 痛 的 ， 因 为 块 的 尺寸 越 小 ， 其 迁移 的 数据 就 越 少 。 





现在 ， 拆 分 的 国 值 会 增 大 。 通 过 大 量 插 和 数据， 你 会 看 到 拆 分 是 怎么 组 组 减 慢 的 ， 以 及 块 是 
怎么 增长 到 最 大 尺寸 的 。 试 着 再 问 集 群 里 插入 800 MB 数据 : 

$s ruby load.rb 800 

这 条 命令 会 执行 很 长 时 间 , 因此 你 可 能 会 想 在 启动 加 载 进 程 后 暂时 离开 吃 些 点 心 。 执 行 完毕 
之 后 ， 总 数据 量 比 以 前 增加 了 8 倍 。 但 是 如 采 查 看 分 块 状态 ， 你 会 发 现 块 的 数量 差不多 只 是 原来 
的 两 倍 : 


> use config 
> db.chunks.count() 
21 


由 于 块 的 数量 变 多 了 ， 块 的 平均 范围 就 变 小 了 ,但 是 每 个 块 都 会 包含 更 多 数据 。 举 例 来 看 ， 
集合 里 的 第 一 个 块 的 范围 只 是 Abpbott 到 Bengder， 但 它 的 大 小 已 经 接近 60 MB 了 。 因 为 目前 块 的 
最 大 尺寸 是 64 MB， 所 以 如 果 继 续 插 入 数据 ,很 快 就 能 看 到 块 的 拆 分 了 。 

为 一 件 值得 注意 的 事情 是 块 的 分 布 还 是 很 均匀 的 ， 就 和 之 前 一 样 : 























> db.chunks.count({"shard": "shard-a"}) 
11 
> db.chunks.count ({"shard": "shard-b"}) 
10 











尽管 刚才 在 插入 800 MB 数据 时 块 的 数量 增加 了 ， 但 你 还 是 可 以 猜 到 没有 发 生 迁 移 ; 一 个 可 
能 的 情况 是 每 个 原始 块 被 一 拆 为 二 ， 期 间 还 有 一 次 额外 的 拆 分 。 可 以 查询 config 数 据 库 的 
changelog 集 合 加 以 验证 : 


> db.changelog.count({what: "split"}) 

20 

> db.changelog.find({what: "moveChunk.commit"}) .count ( ) 
6 
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这 符合 我 们 的 猪 测 。 一 共 发 生 了 20 次 拆 分 ， 产 生 了 20 个 块 , 但 只 发 生 了 6 次 迁移 。 要 再 深入 
了 解 一 下 究竟 发 生 了 什么 , 可 以 查看 变更 记录 的 具体 条 目 。 举 例 来 说 ， 以 下 条 目 记 录 了 第 一 次 的 











块 移动 : 
> db.changelog.findOone({what: "moveChunk.commit"}) 
{ 
"Td varetes2011=s09=01T20%40:59320, 
"OCLVer. "AreEe”,y 
nol entAdadre | 2700 1:5 /49 
timer < TSODate("2011=03=01T20*40%59.0352"), 
"what" : "moveChunk.commit", 
"ns" : "Cloud-docs.spreadsheets", 
detarler 
mm 
"username" : { SminKey : 1 }, 
"nd 0 SminKkey » 1 } 
| 有 
ninax 
"username" : "Abbott", 
"_id" : ObjectId("4d6d57f61d41c851ee000092") 
了 
"from" : "shard-a", 
"to" : "shard-b" 


} 
| 


这 里 可 以 看 到 块 从 shardq-a 移 到 了 shardq-pb。 总 的 来 说 在 变更 记录 里 找到 的 文档 可 该 性 都 
比较 好 。 在 深入 了 人 解 分 片 并 打算 打造 自己 的 分 片 集群 之 时 , 配置 变更 记录 是 了 解 拆 分 和 迁移 行 ， 
的 优秀 材料 ， 应 该 经 第 看 看 它 。 
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从 应 用 程序 的 角度 来 看 ， 查 询 分 片 集群 和 查询 单个 nongodq 没 什么 区 别 。 这 两 种 情况 下 , 碍 
询 接口 和 迭代 绪 末 集 的 过 程 是 一 样 的 。 但 在 外 表 之 下 , 两 者 还 是 有 区 别 的 ,有 必要 了 解 一 下 其 中 
的 细 王 。 


























9.3.1 分 片 查询 类 型 


假设 正在 查询 一 个 分 片 集群 ， 为 了 返回 一 个 恰当 的 查询 啊 应 ，mongos 要 与 多 少 个 分 片 进行 
交互 ? 稍微 思考 一 下 , 承 能 发 现 这 与 分 斤 键 是 否 出 现在 查询 选择 融 里 有 关 。 还 记得 吗 ? 配置 服务 
希 〈 了 怠 是 mongos ) 维护 了 一 份 分 片 范 围 的 映射 天 系 ， 就 是 我 们 在 本 章 早 些 时 候 看 到 的 块 。 如 末 
查询 包含 分 片 键 ， 那 么 nongos 通 过 块 数据 能 很 快 定位 哪个 分 斤 包 含 查询 的 结 采 集 。 这 称 为 针对 
性 查询 ( targeted query )。 

但 是 ， 如 果 分 斤 键 不 是 查询 的 一 部 分 ， 那 么 查询 计划 需 就 不 得 不 访问 所 有 分 片 来 完成 查询 。 
这 称 为 全 局 查询 或 分 散 /聚集 查询 (scattergather query )。 图 9-3 对 这 两 种 查询 做 了 描述 。 
































分 片 B 
(副本 集 ) 





查询 单个 分 片 D> 





sw 


a ar ss, en | pe se ey 
mongos 路 由 器 | mongos 路 由 器 
1 
find({username: “Abbott”!) find({filename: “sheet-1”*) 





应 用 程序 服务 器 
查询 选择 器 包含 分 查询 选择 器 缺少 分 
片 键 〈 针 对 性 查询 ) 片 键 《〈 全 局 查询 ) 





图 9-3 ”针对 副本 集 的 针对 性 查询 与 全 局 查询 





针对 任意 指定 的 分 片 集群 查询 ，explain 命 令 能 显示 其 详细 查询 路 径 。 让 我 们 先 来 看 一 个 针 
对 性 查询 ， 此 处 要 查询 位 于 集合 第 一 个 块 里 的 文档 。 
> selector = {username: "Abbott", 


"_id" : ObjectId("4e8al372238d3bece8000012")} 
> db.spreadsheets.find(selector) .explainl) 








"shards" : { 
"shard-b/arete:30100,arete:30101" : | 
"Cursor" : "BtreeCursor username 1 id 1", 
"nscanned" : 工 ， 
De 
SO 
"jindexBounds" : { 
"username" : | 
[ 
"Abbott", 
"Abbott" 


| 二 
se 
[ 
ObjectId("4d6d57f61d41c851ee000092")， 
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ObJjectIid("dd6ds7 tlddle8s lee000092") 


Fe 

pl 
"nscanned" : 1, 
"millisTotalr :°° 0 
"numOueries" : 1, 
"numShards" : 1 


} 
explain 的 结果 清晰 地 说 明 查 询 命中 了 一 个 分 片 一 一 分 片 B, 返回 了 一 个 文档 。 查询 计划 需 
很 聪明 地 使 用 了 分 厂 键 前 级 的 子 集 来 路 由 查询 。 也 就 是 说 你 也 可 以 单独 根据 用 户 名 进行 查询 : 





> db.spreadsheets.find({username: "Abbott"}) .explain() 
{ 
shardes™ :| 
"shard-b/arete:30100,arete:30101" : | 
{ 

"Cursor" : "BtreeCursor username 1 1iqd 1", 

"nscanned" : 801, 

让 


] 
7 
"801， 
"nscanned" : 801, 
"numShards" : 1 


} 
该 查询 总 共 返 回 了 801 个 用 户 文档 ， 但 仍然 只 访问 了 一 个 分 请。 

那么 全 局 查询 叉 会 怎么 样 呢 ”也 可 以 方便 地 使 用 explain 命 令 。 下 面 就 是 一 个 根据 filename 
字段 进行 查询 的 例子 ， 其 中 既 没 有 用 到 索引 ， 也 没有 用 到 分 片 键 : 


> db.spreadsheets.find({filename: "sheet-1"}) .explainl() 
"ehnarde 
"shard-a/arete:30000,arete:30002,arete:30001"™ : [| 


『 


GD Pas cecCureor'., 
"nscanned" : 102446, 
7, 

"millis" : 85, 


. 

I 区 

"shard-b/arete:30100,arete:30101" : [| 
{ 


中 注意 ,简单 起 见 ， 在 这 个 执行 计划 以 及 接 下 来 的 执行 计划 里 ,我 省 略 了 很 多 字段 。 





"cursSor" : "BasicCursor", 
"nscanned" : 77754, 
"nscannedObjects" : 77754, 
nr i ei 
} 
] 

7 

200 

"nscanned" : 180200, 

mmreneotal .1s0, 

"numQOueries" : 2， 

"numShards" : 2 


| 

如 你 所 想 ,该 全 局 查询 在 两 个 分 片上 都 进行 了 表 扫描 。 如 果 该 查询 与 你 的 应 用 程序 有 关 ， 你 
一 定 想 在 filename 字 段 上 增加 一 个 索引 。 无 论 哪 种 情况 , 它 都 会 搜索 整个 集群 以 返回 完整 结果 。 

一 些 查询 要 求 并 行 获取 整个 结果 集 。 例 如 ， 假 设想 根据 修改 时 间 对 电子 表格 进行 排序 。 这 要 
求 在 nongos 路 由 进程 里 合并 结果 。 没 有 索引 ， 这 样 的 查询 会 非常 低 效 ， 并 且 会 展 遭 禁止 。 因 此 ， 
在 下 面 这 个 查询 最 近 创 建文 档 的 例子 里 ， 你 会 先 创建 必要 的 索引 : 


> db.spreadsheets.ensureIndex({updated at: 1}) 
> db.spreadsheets.find({}) .sort({updated at: 1}) .explain!() 
{ 
"enarde™ ee 3{ 
"shard-a/arete:30000,arete:30002" : | 
{ 














"cursor" : "BtreeCursor updated at 1", 
"nscanned" : 102446, 

"Nn" : 102446, 

om su 1 


} 

I 

"shard-b/arete:30100,arete:30101" : [| 
{ 


"Cursor" : "BtreeCursor updated at _ 1", 
"nscanned" : 77754, 
Wo 
nr le i 
} 
] 
了 
人 
"nscanned" : 180200, 
umil]jisTlTotal" » 321, 
"numOueries" : 2, 
"numShards" : 2 


】 
正如 预期 的 那样 ， 游 标 扫 描 了 每 个 分 厂 的 upaated_at 索 引 ， 以 此 返回 最 近 更 新 的 文档 。 

更 有 可 能 出 现 的 查询 是 返回 某 个 用 户 最 新 修改 的 文档 。 同 样 ,你 要 创建 必要 的 索引 ， 随 后 发 
起 查询 : 
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> db.spreadsheets.ensurelindex({username: 1, updated at: -1}) 
> db.spreadsheets.find({username: "Wallace"}) .sort!l 

{updated at: -1}) .explain() 
{ 

"clusteredType" : "ParallelSsort", 

"shards" : { 

"shard-l-test-rs/arete:30100,arete:30101" : [ 
{ 


"Cursor" : "BtreeCursor username 1 updatedqd at -1", 
"nscanned" : 801, 
ul 0) | 
| 
} 
] 
}, 
人 
"nscanned" : 801, 
"numOueries" : 1, 
"numShards" : 1 


} 

关于 这 个 执行 计划 ， 有 几 个 需要 注意 的 地 方 。 首 先 ， 该 查询 指 癌 了 单个 分 片 。 因 为 你 指定 
了 分 片 键 ， 所 以 查询 路 由 需 可 以 找 出 哪个 分 片 包含 了 相关 的 块 。 随 后 你 就 会 发 现 排序 并 不 需要 
访问 所 有 的 分 片 ; 当 排序 查询 中 包含 分 片 键 ， 所 要 查询 的 分 片 数量 通常 都 能 有 所 减少 。 本 例 中 ， 
只 需 访问 一 个 分 片 ， 也 能 想象 类 似 的 查询 ， 即 需要 访问 几 个 分 片 ， 所 访问 的 分 片 数 量 少 于 分 片 
总 数 。 

第 二 个 需要 注意 的 地 方 是 分 片 使 用 了 {username: 1,updated_at: -1} 索 引 来 执行 查询 。 
这 说 明了 一 个 很 重要 的 内 容 , 即 分 片 集群 是 如 何 处 理 查 询 的 ,通过 分 片 键 将 查询 路 由 给 指定 分 片 ， 
一 旦 到 了 某 个 分 片上 , 由 分 片 自行 决定 使 用 哪个 索引 来 执行 该 查询 。 在 为 应 用 程序 设计 查询 和 索 
引 时 ， 请 牢记 这 一 点 。 





























9.3.2 索引 


你 刚 看 了 一 些 例子 ，, 其 中 演示 了 索引 查询 是 如 何在 分 片 集群 里 工作 的 。 有 时 ， 如 打 不 确定 用 
个 查询 是 怎么 解析 的 , 可 以 试 坛 sxplain()。 通 背 这 都 很 向 单 , 但 是 在 运行 分 乒 集 群 时 ， 有 几 点 
关于 索引 的 内 容 应 该 牢记 于 心 ， 下 面 我 会 逐个 进行 说 明 。 

(1) 每 个 分 厂 都 维护 了 目 己 的 索引 。 这 点 应 该 是 显而易见 的 ， 当 你 在 分 片 集合 上 声明 索引 时 ， 
每 个 分 片 都 会 为 它 那 部 分 集合 构建 独立 的 索引 。 例 如 ， 在 上 一 节 里 ,你 通过 mongos 发 起 了 
db.spreasheets.ensurelIndex ( ) 命令 ， -个 分 片 都 单独 处 理 了 索引 创建 命令 。 

(2) 由 此 可 以 得 出 一 个 绪论， 每 个 分 片上 的 分 所 集合 神 应 该 拥有 相同 的 索引 。 如 朱 不 是 这 样 
的 话 ， 查 询 性 能 会 很 不 稳定 。 

(G) 分 斤 集 合 只 允许 在 _iq 字 段 和 分 搬 键 上 添加 唯一 性 肢 引 。 其 他 地 方 不 行 , 因为 这 需要 在 分 
片 间 进 行 通信 ， 实 施 起 来 很 复杂 ， 而 且 相 信 这 人 么 做 速度 也 很 慢 ， 没 有 实现 的 价值 。 

一 旦 理解 了 如 何 进行 查询 的 路 由 选择 , 以 及 索引 是 如 何 工作 的 , 你 应 该 就 能 针对 分 片 集群 写 
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出 床 亮 的 查询 和 索引 了 。 第 7 章 里 几乎 所 有 关于 索引 和 查询 优化 的 建议 都 能 用 得 上 ， 此 外 ， 在 必 
要 的 时 候 ， 你 还 可 以 使 用 强大 的 explain() 工 具 。 


9.4 ”选择 分 片 键 


上 面 说 的 这 些 都 依赖 于 正确 选择 分 片 键 。 分 斤 键 选 的 不 好 , 应 用 程序 就 无 法 利用 分 片 集群 所 
提供 的 诸多 优势 。 在 这 种 情况 下 ,插入 和 查询 的 性 能 部 会 显著 下 降 。 下 决定 时 一 定 要 严肃 , 一 旦 
选 定 了 分 片 键 ， 就 必须 坚持 选择 ， 分 片 键 是 不 可 修改 的 。” 

要 证 分 片 能 提供 好 的 体验 ， 部 分 源 目 了 解 怎样 才 算 一 个 好 的 分 片 键 。 因 为 这 并 不 是 很 直观 ， 
所 以 我 会 完 描述 一 些 不 太 好 的 分 刻 键 。 这 能 很 卓然 地 引出 对 好 分 片 键 的 讨论 。 


9.4.1 低 效 的 分 片 键 


一 些 分 片 键 的 分 布 性 很 差 ,而 男 一 些 则 导致 无 法 充分 利用 局 部 性 原理 , 还 有 一 些 可 能 会 妨 但 
块 的 拆 分 。 本 节 我 们 会 看 到 一 些 产 生 这 种 不 理想 状态 的 分 片 键 。 

1. 分 布 性 郑 

BSON 对 象 ID 是 每 个 MongoDB 文 档 的 默认 主键 。 乍 一 看 ， 一 个 与 MongoDB 核 心 如 此 接近 的 
数据 类 型 很 有 可 能 成 为 候选 的 分 片 键 。 然 而 ,我 们 不 能 被 表 像 演 沿 。 回 想 一 下 ， 所 有 对 和 象 了 中 最 
重要 的 组 成 部 分 是 时 间 戳 ,也 就 是 说 对 象 D 始 终 是 升序 的 。 遗 憾 的 是 , 升序 的 值 对 分 片 键 而 言 是 
很 糟糕 的 。 

要 了 人 解 升序 分 片 键 的 问题 , 你 要 牢记 分 片 是 基于 范围 的 。 使 用 升序 的 分 片 键 之 后 ， 所 有 最 近 
插入 的 文档 都 会 落 到 某 个 很 小 的 连续 范围 内 。 用 分 片 的 术语 来 说 ,就 是 这 些 插 入 都 会 被 路 由 到 一 
个 块 里 , 也 就 是 被 路 由 到 单个 分 片上 。 这 实际 上 抵消 了 分 片 一 个 很 大 的 好 处 : 将 插入 的 负载 自动 
分 布 到 不 同 机 右上 。” 结 论 已 经 很 清楚 了 ， 如 果 想 让 插入 负载 分 不 到 多 个 分 片上 ， 就 不 能 使 用 升 
序 分 片 键 ,你 需要 某 些 随机 性 更 强 的 东西 。 

2. 缺乏 局 部 性 

升序 分 片 键 有 明确 的 方向 ， 完 全 随机 的 分 片 键 则 根本 没有 方向 。 前 者 无 法 分 散 插 入 ， 而 后 者 
则 可 能 是 将 插入 分 得 太 散 。 这 点 可 能 会 违背 你 的 直觉 ， 因 为 分 片 的 目的 就 是 要 分 散 读 写 操作 。 我 
们 可 以 通过 一 个 简单 的 思想 实验 对 此 做 出 说 明 。 

假设 分 片 集合 里 的 每 个 文档 都 包含 一 个 MD5， 而 且 MD5 字 段 就 是 分 片 键 。 因 为 MD5 的 值 会 
随 着 文档 的 不 同 随机 变化 , 所 以 该 分 片 键 能 确保 插入 的 文档 均匀 分 布 在 集群 的 所 有 分 片上 , 这样 
很 好 。 但 是 再 仔细 一 想 ， 对 每 个 分 片 的 MD5 字 上 段 索 引进 行 的 插入 又 会 怎么 样 ? 因为 MD5 是 完全 
随机 的 ， 在 每 次 插入 过 程 中 ,索引 中 的 每 个 虚拟 内 存 分 页 都 有 可 能 ( 同等 可 能 性 ) 被 访问 到 。 实 






























































QD 注意 , 一 旦 创建 了 分 片 键 ,没有 什么 好 办 法 来 修改 它 。 你 最 好 用 合适 的 键 再 创建 一 个 新 的 分 片 集合 ， 从 老 分 片 集 
合 里 把 数据 导出 来 ， 再 把 它们 还 原 到 新 集合 里 。 
G@ 注意 ， 升 序 的 分 片 键 不 会 影响 到 更 新 ， 只 要 文档 都 是 随机 更 新 的 。 
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际 上 ,这 就 意味 痢 索 引 必须 总 是 能 朔 在 内 存 里 ， 如 果 索 引 和 数据 不 断 增 多 , 超出 了 物理 内 存 的 限 
制 ， 那 些 会 降低 性 能 的 页 错误 是 不 可 避免 的 。 

这 基本 就 是 一 个 局 部 引用 性 (locality ofreference ) 问题 。 局 部 的 概念 ， 至 少 在 这 里 是 指 任 意 给 
定时 间 间 隔 内 所 访问 的 数据 基本 都 是 有 关系 的 ; 这 能 用 来 进行 相关 优化 。 例 如 ， 虽 然 对 象 ID 是 个 
炎 糕 的 分 厂 键 , 但 它们 提供 了 很 好 的 局 部 性 ,因为 它们 是 升序 的 。 也 就 是 说 ， 对 索引 的 连续 插 和 人 都 
会 发 生 在 最 近 使 用 的 虚拟 内 存 分 页 里 ; 因此 ， 在 任意 时 刻 内 存 里 只 要 有 一 小 部 分 索引 就 可 以 了 。 

举 个 不 太 抽 象 的 例子 , 想象 一 下 , 假设 你 的 应 用 程序 允许 用 户 上 传 照片 ， 每 张 照片 的 元 数据 
都 保存 在 某 个 分 片 集合 的 一 个 文档 里 。 现 在 ,假设 用 户 批 量 上 传 了 100 张 上 照片。 如果 分 片 键 是 完 
全 随机 的 ， 那 么 数据 库 就 无 法 利用 局 部 性 ; 对 索引 的 插入 会 发 生 在 100 个 随机 的 地 方 。 但 是 ， 如 
末 我 们 假设 分 片 键 是 用 户 的 ID ， 又 会 怎么 样 ? 此 时 , 每 次 写 索 引 基 本 都 会 发 后 在 同一 个 地 方 ， 
为 搬入 的 每 个 文档 都 拥有 相同 的 用 户 ID 值 。 这 就 利用 到 了 局 部 性 , 你 也 能 体会 到 潜在 的 显 车 性 能 
提升 。 

随机 分 请 键 还 有 另 一 个 问题 : 对 这 个 键 的 任意 一 个 有 意义 的 范围 查询 都 会 被 发 送 到 所 有 分 请 
上 。 还 是 刚才 那个 分 片 照 片 集合 ,如 果 你 想 让 应 用 显示 某 个 用 户 最 近 创 建 的 10 张 照片 (这 是 一 个 
很 普通 的 查询 )， 随 机 分 片 键 仍 会 要 求 把 该 查询 发 到 所 有 的 分 片上 。 正 如 你 将 在 下 文 里 看 到 的 那 
样 ， 较 粗 粒 度 的 分 片 键 能 让 这 样 的 范围 查询 沙 到 单个 分 斤 上 。 

3. 无 法 拆 分 的 块 

如 果 随 机 分 片 键 和 升序 分 片 键 痢 不 好 用 , 那么 下 一 个 显而易见 的 选择 就 是 粗 粒 度 分 片 键 , 用 
户 ID 就 是 很 好 的 例子 。 如 采 根 据 用 户 ID 对 照 斤 集合 进行 分 片 , 你 可 以 预料 到 插入 会 分 布 在 各 个 分 
片上 ， 因 为 无 法 预知 哪个 用 户 何 时 会 插入 数据 。 这 样 一 来 ， 粗 粒度 分 片 键 也 能 拥有 随机 性 ， 还 能 
发 挥 分 斤 集 群 的 优势 。 

粗 粒 度 分 搬 键 的 第 二 个 好 处 是 能 通过 局 部 引用 性 市 来 效率 的 提升 。 当 某 个 用 户 插 和 人 100 个 照 
片 元 数据 文档 , 基于 用 户 ID 字段 的 分 斤 键 能 确保 这 些 搬 入 都 洲 到 同一 个 分 上 请 上 , 并 几乎 能 写 人 过 
引 的 同一 部 分 。 这 样 的 效率 很 高 。 

粗 粒 度 分 斤 键 在 分 布 性 和 局 部 性 方面 表现 的 都 很 好 , 但 它 也 有 一 个 很 难 解 决 的 问题 ; 块 有 可 
能 无 限制 地 增长 。 这 怎么 可 能 ? 想 想 基于 用 户 ID 的 示例 分 片 键 , 它 能 提供 的 最 小 块 范围 是 什么 ? 
是 用 户 ID, 不 可 能 再 小 了 。 每 个 数据 集 都 有 可 能 存在 异常 情况 ， 这 时 就 会 有 问题 。 假 设 有 几 个 特 
殊 用 户 ， 他 们 保存 的 照片 数量 超过 普通 用 户 数 百 万 。 系 统 能 将 一 个 用 户 的 照片 拆 分 到 多 个 块 里 
么 ? 答案 是 不 能 ! 这 个 块 不 能 拆 分 。 这 对 分 片 集群 是 个 危害 ,因为 这 会 造成 分 片 间 数据 不 均衡 的 
情况 。 

显然 ,理想 的 分 片 键 应 该 结合 了 粗 粒 度 分 斤 键 与 细 粒 度 分 请 键 两 者 的 优势 。 下 一 节 里 你 就 能 
一 睹 它 的 天 容 。 


9.4.2 ”理想 的 分 片 键 


通 谈 上 一 站 ， 你 应 该 已 经 清楚 地 知道 理想 的 分 上 斤 键 应 该 能 够 : 
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(1) 将 插入 数据 均匀 分 布 到 各 个 分 片上 ; 

(2) 保证 CRUD 操 作 能 够 利用 局 部 性 ; 

(3) 有 足够 的 粒度 进行 块 拆 分 。 

满足 这 些 要 求 的 分 厂 键 通常 由 两 个 字段 组 成 , 第 一 个 是 粗 粒 上 度 的 , 第 二 个 粒度 较 细 。 电 子 表 
格 示 例 的 分 片 键 就 是 一 个 不 错 的 例子 ， 你 声明 了 一 个 复合 分 片 键 {username: 1，_id: 1}。 当 
不 同 的 用 户 癌 集群 插入 数据 时 ， 可 以 预计 到 大 多 数 ( 并 非 全 部 ) 情况 下 , 一 个 用 户 的 电子 表格 会 
在 单个 分 片上 。 就 算 某 个 用 户 的 文档 沙 在 多 个 分 片上 ,分 厂 键 里 那个 唯一 的 _id 字 段 也 能 保证 对 
任意 一 个 文档 的 查询 和 更 新 始终 能 指 癌 单个 分 片 。 如 采 和 需要 对 某 个 用 户 的 数据 执行 更 复杂 的 查 
询 ， 可 以 保证 查询 只 会 被 路 由 到 包含 该 用 户 数据 的 那些 分 请 上 。 

最 重要 的 是 分 片 键 Tusername: 1，_id: 1} 保 证 了 块 始终 是 能 继续 拆 分 的 ， 哪 怕 用 户 创建 
了 大 量 文 档 ， 人 情况 也 是 如 此 。 

再 举 个 例子 ,假设 正在 构建 一 个 网 站 分 析 系 统 。 正 如 将 在 附录 B 里 看 到 的 那样 ， 针 对 此 类 系 
统 , 一 个 不 错 的 数据 模型 是 每 个 网 页 每 月 保存 一 个 文档 。 随 后 ,在 那个 文档 内 保存 该 月 每 天 的 数 
据 , 每 次 访问 某 个 页 面 就 增加 一 些 计数 右 字 有 段 的 值 等 下面 是 与 分 片 键 选择 有 关 的 示例 分 析 文 档 
字段 : 

{ _id: ObjectId("4d750a90c35169d10fc8c982")， 

domain: "org.mongodb", 















































url: "/downloads", 
DerLioOd 0l] = |" 
} 


针对 包含 此 类 文档 的 分 片 集群 ,最 简单 的 分 斤 键 包含 每 个 网 页 的 域名 ,随后 是 URL: {domain: 
1，url: 1}。 所 有 来 目 指 定 域 的 页 面 通 和 都 能 沙 在 一 个 分 片上 ， 但 是 一 些 特 殊 的 域 拥有 大 量 页 
面 ， 在 必要 时 仍 会 被 拆 分 到 多 个 分 厂 上 。 


9.5 生产 环境 中 的 分 片 


在 生产 环境 里 部 闭 分 片 集群 时 ,面前 会 出 现 很 多 选择 和 挑战 。 这 里 我 会 描述 几 个 推荐 的 部 署 
拓扑 , 针对 津 见 的 部 闭 问 题 做 出 解答 。 我 们 随后 还 会 考虑 一 些 服务 从 管理 方面 的 问题 , 包括 监控 、 
备份 、 故 障 转移 和 恢复 。 


9.5.1 部 署 与 配置 


一 开始 很 难 搞定 分 片 集 群 的 部 署 与 配置 ,下 文 是 一 份 指南 ,介绍 了 轻松 组 织 并 配置 集群 的 方法 。 
. 部 署 拓扑 
要 运行 示例 MongoDB 分 片 集群 ， 你 一 共 要 启动 九 个 进程 ( 每 个 副本 和 集 三 个 mongod， 外 加 三 
个 配置 服务 器 )。 乍 一 看 ， 这 个 数字 有 点 吓人 。 一 开始 用 户 会 假设 在 生产 环境 里 运行 两 个 分 片 的 
集群 要 有 九 台 独立 的 机 器 。 幸 运 的 是 ,实际 需要 的 机 器 要 少 很 多 ,看 一 下 集群 中 各 组 件 所 要 求 的 
资源 就 能 知道 为 什么 了 。 
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站 和 完 考 虑 一 下 副本 集 ， 每 个 成 员 都 包含 分 片 的 完整 数据 副本 ,可 能 是 主 市 护 ,， 也 可 能 是 从 市 
扩 。 这 些 进程 总 是 要 求 有 足够 的 磁盘 空间 来 你 行 数据 ， 要 有 足够 的 内 存 高 效 地 提供 服务 。 因 此 ， 
复制 mongod 是 分 厂 集 群 中 最 资源 密集 型 的 进程 ， 必 须 占用 独立 的 机 带 。 

那 副 本 集 的 仲裁 节点 呢 ? 这 些 进 程 只 保存 副本 集 的 配置 数据 ， 这 些 数据 就 放 在 一 个 文档 里 。 
所 以 ,仲裁 市 点 开销 很 少 ， 当 然 也 就 不 需要 日 已 的 服务 磊 了 。 

接 下 来 是 配置 服务 船 ,它们 同样 只 保存 相对 较 少 的 数据 。 举 例 来 说 ,配置 服务 天上 管理 示例 
副本 集 的 数据 一 共 也 就 大 约 30 KB。 如 有 果 假 设 这 些 数据 会 随 着 分 片 集群 数据 的 增长 而 线性 增长 ， 
那么 1 TB 的 分 片 集群 可 能 仅 会 对 应 30 MB 数据 。 "也 就 是 说 配置 服务 器 同样 不 需要 有 自己 的 机 器 。 
但 是 ,考虑 到 配置 服务 从 所 扮演 的 重要 角色 ,一 些 用 户 更 倾 回 于 为 它们 提供 一 些 机 可 (或 虚拟 机 )。 

根据 你 对 副本 集 和 分 片 集群 的 了 解 ， 可 以 列 出 部 著 分 片 集群 的 最 低 要 求 。 

(1) 副本 集 的 每 个 成 员 ， 无论 是 完整 的 副本 市 点 还 是 仲裁 市 点 ， 虱 和 需要 放 在 不 同 的 机 瘟 上 。 

(2) 每 个 用 于 复制 的 副本 集成 员 痢 需要 有 日 己 的 机 带 。 

(3) 副本 集 的 仲裁 节点 是 很 轻 量 级 的 ， 和 其 他 进程 共用 一 全 机 带 就 可 以 了 。 

(4) 配置 服务 冲 也 可 以 选择 与 其 他 进程 共用 一 台 机 各 。 唯 一 的 便 性 要 求 是 配置 集群 中 的 所 有 
配置 服务 融和 神 必 须 放 在 不 同 的 机 俘 上 。 

你 可 能 感觉 要 满足 这 些 规 则 会 引起 逻辑 问题 ,我 们 将 运用 这 些 规则 :针对 示例 的 两 分 片 集群 ， 
你 会 看 到 两 个 合理 的 部 团 拓 扑 。 第 一 个 拓扑 只 需要 四 台 机 带 ， 图 9-4 里 描绘 了 进程 的 分 布 情况 。 
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J 这 是 一 个 相当 保守 的 估计 ， 真 实 值 可 能 会 小 得 多 。 
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这 个 配置 满足 了 刚才 所 说 的 所 有 规则 。 在 每 台 机 融 上 占 主 导 地 位 的 是 各 分 请 的 复制 节点 。 剩 
下 的 进程 经 过 了 精心 安排 , 所 有 的 三 个 配置 服务 硕 和 每 个 副本 集 的 仲裁 节点 都 部 署 在 了 不 同 的 机 
器 上 。 说 起 容错 性 ,该 拓扑 能 容忍 任何 一 台 机 妖 发 生 故 障 。 无 论 哪 台 机 带 发 生 了 故障 ,集群 都 能 
继续 处 理 读 写 请 求 。 如 果 发 生 故 障 的 机 器 正好 运行 了 一 个 配置 服务 右 , 那么 所 有 的 块 拆 分 和 迁移 
都 会 暂停 。" 率 运 的 是 ， 暂 停 分 片 操 作 基 本 不 会 影响 分 片 集群 的 工作 ; 在 损失 的 机 需 恢 复 后 ， 就 
能 进行 拆 分 和 迁移 了 。 

这 是 两 分 片 集群 的 最 小 推荐 配置 。 但 是 ， 那 些 要 求 最 高 可 用 性 和 最 快 恢复 途径 的 应 用 程序 
需要 一 些 更 强健 的 东西 。 正 如 上 一 草 里 讨论 的 那样 ， 包 含 两 个 副本 和 一 个 仲裁 节点 的 副本 集 在 
恢复 时 是 很 脆弱 的 。 如 有 果 有 三 个 节点 ， 束 能 降低 恢复 时 的 脆弱 程度 ， 还 能 让 你 在 从 数据 中 心里 
部 署 一 个 节点 ， 用 于 灾难 恢复 。 图 9-5 是 一 个 强壮 的 两 分 片 集群 拓扑 。 每 个 分 片 都 包含 三 节点 的 
副本 集 ， 每 个 厄 点 都 包含 数据 的 完整 副本 。 为 了 进行 灾难 恢复 ， 从 每 个 分 片 里 抽 一 个 节点 ， 加 
上 一 个 配置 服务 器 ， 部 署 在 从 数据 中 心 ; 要 保证 那些 节点 不 会 变 成 主 节 点 ， 可 以 将 它们 的 优先 
级 设置 为 0。 
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图 9-5 ”部 获 在 两 个 数据 中 心 、 六 台 机 各 上 的 两 分 厂 集 群 


JU 在 发 生 任 何 分 片 操作 时 ， 所 有 的 三 台 配 置 服务 需 都 必须 在 线 。 
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用 了 这 个 配置 ， 每 个 分 片 都 会 被 复制 两 次 ， 而 非 仅 一 次 。 此 外 ， 当 主 数据 中 心 发 生 故 障 时 ， 
从 数据 中 心 拥 有 重建 分 片 集群 所 需 的 全 部 数据 。 


数据 中 心 故障 

最 有 可 能 发 生 的 数据 中 心 故 障 是 电力 中 断 。 在 没有 开启 Journaling 日 志 的 情况 下 运行 
MongoDB 服 务 器 时 ， 电 力 中 断 就 意味 着 非 正常 关闭 MongoDB 服 务 器 ， 可 能 会 损坏 数据 文件 。 
发 生 这 种 故障 时 ， 唯 一 可 靠 的 恢复 途径 是 数据 库 修复 ， 一 个 保证 停机 时 间 的 漫长 过 程 。 

大 多 数 用 户 只 将 整个 集群 部 署 在 一 个 数据 中 心里 , 这 对 大 量 应 用 程序 来 说 都 没 问 题 。 这 种 
情况 下 的 主要 预防 措施 是 ， 至 少 在 每 个 分 片 的 一 个 节点 以 及 一 台 配 置 服务 器 上 开局 Journaling 
上 日志。 在 电力 供应 恢复 时 ， 这 能 极 大 地 提高 恢复 速度 。 第 10 章 里 会 涉及 Journaling 日 志 的 相关 
内 容 。 

尽管 如 此 ,一 些 故障 更 加 严重 。 电力 中 断 有 时 能 持续 几 和 天。 洪水、 地震 ,以 及 其 他 自然 灾 
害 能 完全 拱 毁 数据 中 心 。 对 于 那些 想 在 此 类 故障 中 进行 快速 恢复 的 用 户 而 言 , 他 们 必须 跨 多 个 





哪 种 分 片 拓扑 最 适合 你 的 应 用 程序 , 这 种 决策 总 是 基于 一 系列 与 你 能 容忍 的 停机 时 间 有 关 的 
考虑 ， 比 如 根据 MTR ( Mean Time to Recovery,， 平均 恢复 时 间 ) 进行 评估 。 考 虑 湾 在 的 故障 场景 ， 
并 模拟 它们 。 如 果 一 个 数据 中 心 发 生 故 障 ， 考 虑 一 下 它 对 应 用 程序 (或 业务 ) 的 影响 。 

2. 配置 注意 事项 

下 面 是 一 些 与 配置 分 片 集群 相关 的 注意 事项 。 

@ 估计 集群 大 小 

用 户 经 常 想 知 道 要 部 署 多 少 个 分 片 ， 每 个 分 片 应 该 有 和 多大。 当然， 这 个 问题 的 答案 取决 于 所 
在 的 环境 。 如 果 是 部 署 在 亚马逊 的 EC2 上 ， 在 超过 最 大 的 可 用 实例 前 都 不 应 该 进行 分 片 。 在 本 书 
编写 时 ， 最 大 的 EC2 节 点 有 68 GB 内 存 。 如 果 运 行 在 自己 的 硬件 上 ， 你 还 可 以 拥有 更 大 的 机 器 。 
在 数据 量 达 到 100 GB 之 前 都 不 进行 分 片 ， 这 是 很 合理 的 。 

当然 ， 每 增加 一 个 分 片 都 会 引入 额外 的 复杂 性 ， 每 个 分 片 都 要 求 进行 复制 。 所 以 说 ,少数 大 
分 片 比 大 量 小 分 片 要 好 。 

@ 对 现 有 集合 进行 分 片 

你 可 以 对 现 有 集合 进行 分 片 ， 如 果 花 了 很 多 时 间 才 将 数据 分 布 到 各 分 片 里 , 请 不 要 大 惊 小 怪 
的 。 每 次 只 能 做 一 轮 均衡 , 迁移 过 程 中 每 分 钟 只 能 移动 大 约 100~200 MB 数据 。 因此 , 对 一 个 50 GB 
的 集合 进行 分 片 大 约 需要 八 个 小 时 ， 其 中 还 可 能 牵涉 一 定 的 磁盘 活动 。 此 外 , 在 对 这 样 的 大 集合 
进行 初始 分 片 时 ， 可 能 还 要 手动 拆 分 以 加 速 分 片 过 程 ， 因 为 拆 分 是 由 插入 触发 的 。 

说 到 这 里 ,应 该 已 经 很 清楚 了 ,在 最 后 时 刻 对 一 个 集合 进行 分 片 并 不 是 处 理性 能 问题 的 好 办 法 。 
如 果 你 计划 在 未 来 某 个 时 刻 对 集合 进行 分 片 ， 考 虑 到 可 以 预见 的 性 能 下 降 ， 应 该 提前 进行 分 片 。 

@ 在 初始 加 载 时 预 拆 分 块 

如 果 你 有 一 个 很 大 的 数据 集 需 要 加 载 到 分 片 集合 里 ,并且 知道 数据 分 布 的 规律 , 那么 可 以 通 
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过 对 块 的 预 拆 分 和 预 迁 移 节 省 很 多 时 间 。 人 举 个 例子 ， 假 设 你 想 要 把 电子 表格 导入 到 一 个 新 的 
MongoDB 分 卢 集 群 里 。 可 以 在 导入 时 先 拆 分 块 ， 随 后 将 它们 迁移 到 分 片 里 ， 仿 此 保证 数据 是 均 
人 匀 分 布 的 。 你 能 用 split 和 movechunk 命 令 实现 这 个 目标 , 它们 的 辅助 方法 分 别 是 sh .splitat () 
和 sh.moveChunks () 。 

下 面 是 一 个 手动 块 拆 分 的 例子 。 你 发 出 split 命 令 ， 指 定 你 想 要 的 集合 ， 随 后 指明 拆 分 点 ; 


> sh.splitAt( "cloud-docs.spreadsheets", 
{ "username" : "Chen", "_id" : ObjectId("4d6d59dbld41c8536f001453") }) 


命令 运行 时 会 定位 到 某 个 块 ， 而 这 个 块 逻 辑 上 包含 username 是 chen 并 且 _igd 是 ObjectId 
("4d6d59db1941c8536f001453") 的 文档 ”。 该 命令 随后 会 根据 这 个 点 来 拆 分 块 , 最 后 得 到 两 
个 块 。 你 能 像 这 样 继续 拆 分 ， 直 到 拥有 数据 良好 分 布 的 块 集合 。 你 还 要 确保 创建 足够 数量 的 块 ， 
让 平均 块 大 小 保持 在 64 MB 的 拆 分 国 值 以 内 。 所 以 ,如果 想 加 载 1GB 数 据 , 应 该 计划 创建 大 约 20 
个 块 。 

第 二 步 是 确定 所 有 分 片 都 拥有 数量 相当 的 块 。 因 为 所 有 的 块 最 初 都 在 一 个 分 片上 , 你 需要 移 
动 它们 。 可 以 使 用 movechunk 命 令 来 移动 块 。 辅 助 方 法 能 人 条 化 这 个 过 程 : 

> sh.moveChunk ("cloud-docs.spreadsheets", {username: "Chen"}, "shardB") 


这 人 句 霹 句 的 意思 是 把 逻辑 上 包 合 文档 tusername: "Chen"} 的 块 移 动 到 分 片 B 上 。 

















9.5.2 ”管理 
我 将 简单 介绍 一 些 分 片 管理 的 知识 ， 让 本 章 内 容 更 充实 一 些 。 
1. 监控 











分 片 集群 是 整个 体系 中 比较 复杂 的 一 块 ， 正 因此 ， 你 应 该 严密 监控 它 。 在 任何 mongos 上 都 
可 以 运行 serverStatus 和 currentoOp () 命 令 , 命令 的 输出 能 反映 所 有 分 片 的 聚合 统计 信息 。 在 
下 一 章 里 我 将 更 具体 地 讨论 这 些 命 令 。 

除了 聚合 服务 融 的 统计 信息 ,你 还 希望 能 监控 块 的 分 布 和 各 个 块 的 大 小 。 正 如 在 示例 集群 中 
看 到 的 那样 ， 所 有 的 信息 都 保存 在 config 数 据 库 里 。 如 采 发 现 不 平衡 的 块 或 者 未 经 确认 的 块 增 
长 ,可 以 通过 sp1it 和 movechunk 命 令 处 理 这 些 情况 。 或 者 ， 也 可 以 查看 日 志 ， 检 查 均 衡 操 作 是 
否 出 于 某 些 原因 被 停止 了 。 

2. 手动 分 区 

有 一 些 情况 下 ， 你 可 能 希望 手动 对 线 上 分 片 集群 的 块 进行 拆 分 和 迁移 。 例 如 ， 目 MongoDB 
v2.0 起 ,均衡 磊 并 不 会 耳 接 考虑 某 个 分 片 的 负载 。 很 明显 ， 一 个 分 片 的 写 越 多 ， 它 的 块 就 越 大 ， 
最 终 就 会 造成 迁移 。 但 是 , 不 难 想象 你 可 以 通过 迁移 块 来 减轻 分 片 的 负载 。movechunk 命 令 在 这 
种 情况 下 同样 很 有 帮助 。 

3. 增加 一 个 分 片 

如 果 你 决定 要 增加 更 多 容量 ， 可 以 使 用 与 先前 一 样 的 方法 问 现 有 集群 添加 新 的 分 片 : 

















中 注意， 并 不 需要 存在 这 样 一 个 文档 。 事 实 上 ， 你 正在 对 一 个 空 集合 做 拆 分 。 
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sh.addSshard ("shard-c/rsil.example.net:27017,rs2.example.net:27017") 

之 种 方式 增加 容量 时 ， 要 注意 回 新 分 片 迁 移 数据 所 花费 的 时 间 。 如 前 所 述 ， 预 计 的 迁移 
速度 是 每 分 钟 100~200 MB。 这 意味 着 如 果 需 要 癌 分 片 集群 增加 容量 ， 你 应 该 早 在 性 能 下 降 以 前 
就 开始 和 动 要 决定 何 时 需要 添加 新 分 片 ， 考虑 一 下 数据 集 的 增长 速率 。 很 明显 , 你 希望 将 索引 
和 工作 集 保持 在 内 存 里 。 因 此 ,最 好 在 索引 和 工作 集 达 到 现 有 分 片 内 存 90% 之 前 的 几 个 星期 就 开 
人 计划 添加 新 分 片 。 

如 果 你 不 愿意 采用 此 处 描述 的 安全 途径 , 那么 就 会 将 自己 置身 于 痛苦 之 中 。 一旦 内 存 里 容纳 
不 下 索引 和 工作 集 ， 应 用 程序 就 会 中 止 运 行 ,， 尤其 是 那些 要 求 很 高 读 写 否 吐 量 的 应 用 程序 。 问 题 
在 于 数据 库 需 要 在 磁盘 和 内 存 之 间 置 换 分 页 , 这 会 降低 读 写 速度 , 后 台 日 志 操 作 无 法 放 入 读 写 队 
列 。 从 这 点 来 看 , 增加 容量 是 件 困 难 的 事 ， 因 为 分 片 之 间 的 块 迁 移 会 增加 现 有 分 片 的 该 负载 。 很 
明显 ， 0. 已 经 超载 之 时 ， 你 最 后 想 做 的 还 是 增加 负载 。 

说 了 这 么 多 ， 只 是 为 了 强调 你 应 该 监控 集群 ， 在 真正 有 需要 之 前 就 增加 容量 。 

4. 删除 分 片 

在 一 些 很 少见 的 情况 下 ， 你 可 能 会 想 删 除 一 个 分 片 。 可 以 通过 removeshargd 命 令 进 行 删除 : 


> use admin 
? db.runCommand({removeshard: "shard-1l/arete:30100,arete:30101"}) 






































"msg" : "draining started successfully", 
"state" : "started", 

"shard" : "shard-1-test-rs", 

rol Ad 








命令 的 啊 应 说 明正 在 从 分 片 中 移 除 块 , 它们 将 被 重新 分 配 到 其 他 分 片上 。 可 以 再 次 运行 该 命 
令 来 检查 删除 过 程 的 状态 


> db.runCommand ({removeshard: "shard-l1l/arete:30100,arete:30101"}) 
{ 

"msg" : "draining ongoing", 

"state" : "ongoing", 


1 1 
Am mI MA . 了 


remainin Gr 
enonks .376, 
vBe ,3 

} 

rok Tr 19 


一 旦 分 厂 被 清空 ， 你 还 要 确认 将 要 删除 的 分 片 不 是 数据 库 的 主 分 片 。 可 以 通过 查询 
config .databases 焦 合 的 分 片 成 员 进 行 检查 : 


> use config 
> db.databases.find() 


3 nn . 0 全 rod mn la rt 二 hs pp fa |ca 人 人 lI Moar 天 人 斑 站 于 3 一 相 

让 _ 一 . CA\ALlLLL1L i /CL Vas Wl Sd i .LAA /二 LA i 和 J J 
{Id » "eloud- dooce, "Partitioned, :3 true, "Brimary" <: "ehardA, } 
{ "_id" : "test", "partitioned" : false, "primary" : "shardB" } 


从 中 可 以 看 到 ，cloud-docs 数 据 库 属 于 shardA， 而 test 数 据 库 则 属于 shardB。 因 为 正在 
删除 snardB， 所 以 需要 改变 test 数 据 库 的 主 闻 点 。 为 此 ， 可 以 使 用 moveprimary 命 令 : 


> db.runCommand({moveprimary: "test", to: "shard-0-test-rs" }),; 
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对 于 每 个 主 节点 是 将 要 删除 的 分 片 的 数据 库 , 运行 该 命令 。 随 后 , 再 次 对 每 个 已 清空 的 分 片 


运行 Temove shard 命 令 : 
> db.runCommand ({removeshard: "shard-1l/arete:30100,arete:30101"}) 
{ "msg": "remove shard completed successfully", 
"stage": "completed", 
"Mocst :varete30lL00.. 
ee 


} 

一 旦 看 到 删除 完成 ， 就 可 以 安全 地 将 已 删除 的 分 片 下 线 了 。 

5. 集合 去 分 片 

虽然 可 以 删除 一 个 分 片 , 但 是 没有 正式 的 途径 去 掉 集 合 的 分 片 。 如 果真 的 需要 这 么 做 , 最 好 
的 选择 是 导出 集合 ， 再 用 一 个 不 同 的 名 字 将 数据 恢复 到 一 个 新 的 集合 里 。" 然 后 就 能 把 已 经 导出 
数据 的 分 厂 集 合 删 挥 了 。 例 如 ， 假设 foo 是 一 个 分 片 集合 ， 你 必须 用 mongodump 连 接 mongos 来 
导出 fo0o 集 合 的 数据 : 

s mongodump -h arete --port 40000 -d cloud-docs -¢ foo 

connected to: arete:40000 

DATABASE: cloud-docs to dump/cloud-docs 


cloud-docs.foo to dump/cloud-docs/foo.bson 
100 objects 


该 命令 能 把 该 集合 导出 到 一 个 名 为 foo.bson 的 文件 里 ， 随 后 再 用 mongorestore 来 恢复 该 
文件 : 

S mongorestore -h arete --port 40000 -d cloud-docs -C bar 

Tue Mar 22 12:06:12 dump/cloud-docs/foo.bson 


Tue Mar 22 12:06:12 going into namespace [cloud-docs.barl] 
Tue Mar 22 12:06:12 100 objects found 


将 数据 移动 到 未 分 片 集合 之 后 ， 就 可 以 随意 删除 旧 的 分 片 集合 foo 了 了。 

6. 备份 分 片 集群 

要 备份 分 片 集群 ， 你 需要 配置 数据 以 及 每 个 分 片 数据 的 副本 。 有 两 种 途径 来 获得 这 些 数据 。 
第 一 种 是 使 用 mongodump 工 具 ， 从 一 个 配置 服务 需 导 出 数据 ， 随 后 再 从 每 个 单独 的 分 片 里 导出 数 
据 。 此 外 , 也 可 以 通过 mongos 路 由 硕 运 行 nongodqump ， 一 次 性 导出 整个 分 搬 集 合 的 数据 , 包括 配 
置 数据 库 。 这 种 策略 的 主要 问题 是 分 片 集合 的 总 数据 可 能 太 大 了 , 以 至 于 无 法 导出 到 一 台 机 器 上 。 

为 一 种 常用 的 备份 分 厂 集 群 的 方法 是 从 每 个 分 片 的 一 个 成 员 里 复制 数据 文件 , 再 从 一 台 配 置 
服务 问 中 复制 数据 文件 。 下 一 章 里 会 介绍 这 种 备份 独立 mongod 进 程 和 副本 集 的 方法 。 你 只 要 在 
每 个 分 片 和 一 台 配 置 服 务 需 上 执行 这 个 过 程 就 可 以 了 。 

无 论 选择 哪 种 备份 方式 , 都 需要 确认 在 备份 系统 时 没有 块 处 在 移动 过 程 中 。 也 就 是 说 要 停止 
均衡 融 进 程 。 

@ 停止 均衡 器 

到 目前 为 止 ， 禁 用 均衡 器 就 是 upsert 一 个 文档 到 config 数 据 库 的 settings 集 合 : 
































Q) 下 一 章 将 涉及 用 来 进行 导出 和 恢复 的 工具 一 一 mongodump 和 mongorestore。 
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> use config 
> db.settings.update({_id: "balancer"}, {S$set: {stopped: true}}, true),; 


这 里 一 定 要 小 心 : 更 新 了 配置 之 后 , 均衡 靛 可 能 仍 在 工作 。 在 备份 集群 之 前 ,你 还 需要 再 次 
确认 均衡 锅 完成 了 最 后 一 轮 均衡 。 最 好 的 方法 就 是 检查 locks 集 合 , 找 到 _iq 是 balancer 的 条 目 ， 
确认 它 的 状态 是 0。 下 面 是 一 个 例子 : 


> use config 
> db.locks.find({ _ id: "balancer"}) 














{ "_id" : "balancer", "process" : "arete:40000:1299516887:1804289383",， 
Sot oer | 
"ts" : ObjectId("4d890d30bd9f205b29eda79e")， 
when" : TSODate(2011-03-22T20.57%20.2492")., 
"who" : "arete:40000:1299516887:1804289383:Balancer:846930886",， 
"why" : "doing balance round'" 


} 
任何 大 于 0 的 状态 值 都 说 明 均 衔 仍 在 进行 中 。process 字 段 显示 了 负责 组 织 协调 均衡 的 
mongos 所 运行 在 的 计算 机 的 主机 名 和 端口 ， 本 例 中 ， 主 机 是 arete:40000。 如 果 在 修改 配置 之 








后 ， 均 衡 硕 始终 没有 停止 ， 你 应 该 检查 负责 均衡 的 nongos 的 日 志 ， 查 找 错误 。 
在 均 衔 融 停 止 之 后 ， 就 可 以 安全 地 开始 备份 了 。 和 备份 完成 后 ， 不 要 忘 了 重新 局 动 均 衡 硕 。 为 
此 ， 可 以 重新 设置 stoppedq 的 值 : 


> use config 
> db.settings.update({_id: "balancer"}, {S$set: {stopped: false}}, true).; 


为 了 人 简化 与 均衡 佑 相关 的 一 些 操作 ，MongoDB v2.0 引 入 了 一 些 Shell 辅 助 方法 。 例 如 ， 可 以 
用 sh.setBalancerState() 来 局 动 和 停止 均衡 希 : 

> sh.setBalancerState(false) 

这 相当 于 调整 settings 集 合 中 的 stoppeq 值 。 用 这 种 方式 禁用 均衡 硕 之 后 ， 可 以 不 售 地 调 
用 sh.isBalancerRunnind()， 直 到 均 衔 需 停 下 为 止 。 

7. 故障 转移 与 恢复 

虽然 我 们 已 经 讲 过 了 一 般 的 副本 集 故障 , 但 还 是 有 必要 提 一 下 分 片 集群 的 潜在 故障 点 和 恢复 
的 最 佳 实践 。 

@ 分 片 成 员 故 障 

每 个 分 片 都 由 一 个 副本 集 组 成 。 因 此 ， 如 果 这 些 副 本 集中 的 任 一 成 员 发 生 故 障 ， 从 节点 就 会 
被 选举 为 主 季 点 ,mongos 进 程 会 目 动 连接 到 该 六 点 上 。 第 8 章 描 述 了 恢复 副本 集 故 障 成 员 的 具体 
步 又 。 选 择 哪 种 方法 依赖 于 成 员 是 何故 障 ， 但 是 不 管 怎么 样 ， 恢 复 的 指南 都 是 一 样 的 ,无 论 副本 
集 是 否 是 分 片 集群 的 组 成 部 分 。 

如 有 果 发 现 副 本 集 在 故障 转移 之 后 有 什么 不 正常 的 表现 ， 可 以 通过 重启 所 有 mongos 进 程 重 置 
系统 ， 这 能 保证 适当 连接 都 指 问 新 的 副本 集 。 此 外 ， 如 果 发 现 均 衡 疾 不 工作 了 ， 就 检查 config 
数据 库 的 locks 集 合 ， 找 到 process 字 上 段 指 癌 之 前 主 市 点 的 条 目 。 如 果 有 这 样 的 条 目 ， 锁 文档 已 
经 日 了 ， 你 可 以 安全 地 手动 删除 该 文档 。 

@ 配置 服务 器 故障 

一 个 分 片 集群 要 有 三 台 配 置 服 务 需 才能 正常 运作 ， 其 中 最 多 能 有 两 台 发 生 故 障 。 无 论 何 时 ， 


















































188 第 9 齐 分 片 


当 配 置 服务 融 数 量 少 于 三 台 , 剩余 的 配置 服务 融会 变 为 只 谈 状 态 , 所 有 的 拆 分 和 均衡 操作 都 会 停 
止 。 请 注意 ,这 对 整个 集群 没有 负面 影响 ， 集 群 的 谈 写 仍 能 正常 进行 ， 当 所 有 三 台 配 置 服务 硕 都 
恢复 之 后 ， 均 衡 硕 将 从 它 俘 止 的 地 方 重 新 开始 工作 。 

要 恢复 配置 服务 融 ,， 从 现 有 的 配置 服务 需 把 数据 文件 复制 到 发 生 故 障 的 机 规 上 ,随后 重 司 服 
务 带 。™ 

@ mongos 故 障 

要 是 mongos 进 程 发 生 故 障 ,， 没有 什么 好 担心 的 。 如 果 mongos 运 行 在 应 用 服务 如 上 ， 它 发 生 
故障 了 ， 那 么 很 有 可 能 你 的 应 用 程序 服务 需 也 发 后 故障 了 。 这 时 的 恢复 就 是 简单 地 恢复 服务 需 。 

无 论 mongos 出 于 什么 原因 发 生 故 障 ， 进 程 本 刁 都 没有 上 自己 的 状态 。 这 意味 着 恢 复 mongos 就 
是 简单 地 重启 进程 ， 在 配置 服务 硕 上 指 同 它 而 已 。 














9.6 小结 


分 片 是 在 大 数据 集 下 保持 高 谈 写 性 能 的 有 效 党 略 。MongoDB 的 分 片 能 很 好 地 工作 于 大 量 生 
产 部 署 环境 之 中 ， 也 适用 于 你 的 情况 。 你 可 以 充分 利用 MongoDB 分 片 机 制 中 现 有 的 特性 ， 不 用 
目 定 义 不 成 熟 的 分 三 解决 方案 。 只 要 巡 循 本 章 的 建议 , 特别 是 注意 那些 推荐 的 部 署 拓扑 、 选 择 分 
片 键 的 倘 略 ， 以 及 将 数据 保持 在 内 存 里 的 重要 性 ,分 片 能 让 你 获 益 菲 浅 。 














J 和 往常 一 样 ， 在 复制 任何 数据 文件 之 前 ， 确 保 已 经 锁定 了 mongoa (第 10 章 会 做 描述 ) 或 者 正常 关闭 了 该 进程 。 
不 要 在 服务 需 仍 在 运行 时 复制 任何 数据 文件 。 





本 章 内 容 

口 部 署 注 意 事 项 以 及 硬件 要 求 
口 管理 、 备 份 与 安全 

口 性 能 调 优 





如 条 没有 部 署 与 管理 相关 的 内 容 ， 本 书 就 是 不 完整 的 。 总 而 言 之 ， 使 用 MongoDB 是 一 回 事 ， 
而 让 它 在 生产 环境 中 顺畅 地 运行 则 是 为 一 回 事 。 最 后 这 一 章 的 目标 ， 就 是 让 你 在 部 车 和 管理 
MongoDB 时 能 做 出 上 佳 的 决策 。 你 可 以 把 本 章 看 做 是 在 提供 宝贵 的 知识 ， 以 免 你 经 历 不 愉快 的 
生产 数据 库 宕 机 。 

开始 时 ， 我 会 讲述 一 些 肖 见 的 部 轩 问 题 ， 包 括 人 硬件 要 求 、 安 全 以 及 数据 的 导入 导出 。 随 后 ， 
本 章 罗 列 一 些 监控 MongoDB 的 方法 。 我 们 还 会 讨论 维护 职责 ， 其 中 最 重要 的 是 备份 。 我 们 将 用 
第 见 的 性 能 问题 解决 方案 来 结束 本 草 。 


10.1 ”部署 
要 成 功 部 署 MongoDB ， 你 需要 选择 正确 的 便 件 以 及 合适 的 服务 需 拓 扑 。 如 果 有 遗留 数据 ， 


则 需要 知道 如 何 才 能 有 效 地 进行 导入 《〈 和 导出) 最 后 ， 还 要 确保 你 的 部 署 是 安全 的 。 我 们 会 在 
随后 的 小 节 中 讨论 这 些 问 题 。 
































10.1.1 部 署 环境 


本 节 将 介绍 为 MongoDB 选 择 好 的 部 署 环境 所 要 考虑 的 内 容 。 我 将 讨论 具体 的 硬件 要 求 ， 例 
如 CPU 、 内 存 和 磁盘 要 求 ， 为 优化 操作 系统 环境 做 些 推荐 ， 并 提供 一 些 关 于 云端 部 署 的 建议 。 

1. 架构 

下 面 依次 是 两 点 与 硬件 架构 有 关 的 说 明 。 

首先 ， 因 为 MongoDB 会 将 所 有 数据 文件 映射 到 一 个 虚拟 的 地 址 空间 里 ， 所 以 全 部 的 生产 部 
署 都 应 该 运行 在 64 位 的 机 器 上 。 正 如 其 他 部 分 提 到 的 那样 ，32 位 的 架构 会 将 MongoDB 限 制 为 仅 
有 2 GB 存储 。 开 启 了 Journaling 日 志 ， 该 限制 会 减 小 到 大 约 1.5GB。 这 在 生产 环境 里 是 很 危险 的 ， 











190 第 10 章 部 署 与 管理 


为 如 果 超 过 这 个 限制 ，MongoDB 的 行为 将 无 法 预测 。 你 可 以 随意 使 用 32 位 机 需 进 行 单元 测试 
和 预 发 布 ， 但 在 生产 环境 以 及 负载 测试 时 ， 请 严格 使 用 64 位 架构 。 

其 次 ，MongoDB 必 须 运 行 于 小 端 序 ( little-endian ) 机 大 上 。 这 一 点 通常 不 难 做 到 ， 但 运行 
SPARC、PowerPC、PA-RISC 以 及 其 他 大 端 序 架 构 的 用 户 就 只 能 望 洋 兴 叹 了 。" 大 多 数 的 驱动 同时 
文 持 小 端 与 大 冰 字 节 序 ， 因 此 MongoDB 的 客户 端 通常 在 这 两 种 架构 上 都 能 运行 。 

2. CPU 

MongoDB 并 不 是 特别 CPU 密集 型 的 ; 数据 库 操 作 很 少 是 CPU 密集 型 的 。 在 优化 MongoDB 时 ， 
首要 任务 是 确保 该 操作 不 是 LO 密集 型 的 〈 详 见 后 续 关 于 内 存 和 磁盘 的 两 部 分 内 容 )。 

只 有 当 索 引 和 工作 集 都 完全 可 放 和 内存 时 , 你 才 可 能 遇 到 CPU 的 瓶颈 。 如 有 末 有 一 个 MongoDB 
实例 每 秒 钟 处 理 成 千 上 万 (或 数 百 ) 的 查询 ， 你 能 想到 提供 更 多 的 CPU 内 核 来 提升 性 能 。 对 于 那 
些 不 使 用 JavaScript 的 读 请 求 ，MongoDB 能 够 利用 全 部 可 用 内 核 。 

如 有 果 碰 巧 看 到 读 请 求 造成 CPU 人 饱和， 请 检查 日 志 中 的 慢 查 询 沉 告 。 可 能 是 缺少 合适 的 索引 ， 
因此 强制 进行 了 表 扫 朱 。 如 采 你 开局 了 很 多 客户 端 ， 每 个 客户 端 都 在 运行 表 扫 摘 , 那么 扫描 加 上 
它 所 市 来 的 上 下 文 切换 会 造成 CPU 人 饱和。 这 个 问题 的 解决 方案 是 增加 必要 的 索引 。 

对 于 写 请 求 ，MongoDB 一 次 只 会 用 到 一 个 核 ， 这 是 由 于 全 局 写 锁 的 缘故 。 因 此 扩展 写 人 负载 
的 唯一 方法 是 确保 写 操 作 不 是 VO 密集 型 的 ,并 且 用 分 片 进 行 水 平 扩 展 。 这 个 问题 在 MongoDB v2.0 
里 有 所 好 转 ， 因 为 通常 写 操作 不 会 在 页 错误 时 持 有 人 锁 ,， 而 是 允许 完成 其 他 操作 。 目 前 ， 有 很 多 并 
发 方面 的 优化 正在 开发 之 中 ， 可 能 实现 的 几 个 选项 是 集合 级 锁 〈collection-level locking ) 和 基于 
范围 的 锁 (extent-based locking )。 请 查看 JIRA 和 最 新 的 发 布 说 明 以 了 解 这 些 改进 的 开发 状态 。 

3. 内 存 

和 其 他 数据 库 一 样 , MongoDB 在 有 大 量 内 存 时 性 能 最 好 。 请 一 定 选 择 有 足够 内 存 的 硬件 ( 虚 
拟 的 或 其 他 )， 足 够 容纳 常用 的 索引 和 工作 数据 集 。 随 着 数据 的 增长 ， 密 切 关 注 内 存 与 工作 数据 
集 的 比例 。 如 果 你 让 工作 集 大 小 超过 内 存 ， 就 可 能 看 到 明显 的 性 能 下 降 。 从 磁盘 载 人 分 页 及 分 页 
这 个 过 程 本 身 不 是 问题 ， 因 为 它 是 将 数据 载 人 内 存 的 必要 步骤 。 但 是 如 采 你 对 性 能 不 满意 ,过 多 
的 分 页 可 能 就 是 问题 所 在 。 第 7 草 详 细 讨 论 了 工作 集 、 索 引 大 小 和 内 存 之 间 的 关系 。 在 本 章 末尾 
处 ， 你 会 了 解 到 识别 内 存 不 足 的 方法 。 

有 一 些 情况 下 , 你 能 安全 地 放任 数据 尺寸 超出 可 用 内 存 , 但 这 仅仅 是 些 例外 , 并 非常 见 情况 。 
一 个 例子 是 使 用 MongoDB 进 行 归 档 ， 读 和 写 都 很 少 发 生 ， 并 且 不 需要 快速 做 出 应 答 。 在 这 种 情 
况 下 ,拥有 和 数据 量 一 样 的 内 存 可 能 代价 高 郧 却 收效 其 做， 因为 应 用 程序 用 不 到 那么 多 内 存 。 对 
于 完整 的 数据 集 , 关键 是 测试 。 对 应 用 程序 的 典型 原型 进行 测试 , 确保 能 够 得 到 所 需 的 性 能 基线 。 

4. 磁盘 

在 选择 磁盘 时 ， 你 需要 考虑 IOPS ( 每 秒 的 输入 /输出 操作 数 ) 以 及 寻 道 时 间 。 这 里 不 得 不 强调 
运行 于 单 块 消费 级 硬盘、 云端 虚拟 盘 ( 比方 说 EBS ) 以 及 高 性 能 SAN 之 间 的 区 别 。 一 些 应 用 程序 
在 单 块 由 网 络 连 接 的 EBS 卷 上 的 性 能 还 能 接受 ,但 是 一 些 开销 较 大 的 应 用 程序 就 会 有 更 高 要 求 。 














































































































GD 如 果 你 对 核心 服务 右 的 大 端 序 支持 感 兴 趣 ， 请 访问 https://jira.mongodb.org/browse/SERVER-1625， 
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出 于 一 些 原因 ， 和 磁盘 性 能 是 非常 重要 的 。 第 一 ， 在 癌 MongoDB 与 人 时 ， 服 务 硕 默认 每 60 s 
与 令 盘 强制 同步 一 次 。 这 称 为 后 台 刷 新 ( background flush )。 对 于 写 密集 型 应 用 与 低速 磁盘 ， 后 
台 刷 新 可 能 会 因为 速度 慢 对 整体 系统 性 能 产生 负面 影响 。 第 二 ,高 速 磁 盘 能 让 你 更 快 地 预 热 服务 
天 。 当 需要 重 局 服务 硕 时 , 还 要 将 数据 集 加 载 到 内 存 里 。 这 个 过 程 是 延 时 执行 的 ; 每 次 对 MongoDB 
连续 的 谈 或 写 都 会 将 一 个 新 的 虚拟 内 存 页 加 载 到 内 存 里 , 下 到 物理 内 存 被 放 满 为 止 。 高 速 磁 盘 能 
让 这 个 过 程 执行 得 更 快 一 些 ， 这 会 提升 MongoDB 在 冷 重 局 之 后 的 性 能 。 最 后 ， 高 速 磁 盘 能 改变 
应 用 程序 工作 和 集 与 所 需 内 存 的 比例 。 比 方 说 ,， 相 比 其 他 磁盘 ,使 用 固态 人 硬盘 在 运行 时 所 需 的 内 存 
更 少 (能 有 更 大 的 容量 )。 

无 论 使 用 哪 种 类 型 的 磁盘 ,通常 在 部 署 时 都 会 比较 严肃 , 不 会 只 用 一 块 便 盘 ， 而 是 采用 宛 余 
磁盘 阵列 (RAID )。 用 户 一 般 会 使 用 Linux 的 LVM ( Logical Volume Manager， 逻 辑 卷 管理 需 ) 来 
管理 RAID 和 集群 ，RAID 级 别 为 10。RAID 10 能 在 保持 可 接受 性 能 的 同时 提供 一 定 元 余 ， 和 用 于 
MongoDB 部 蜀 之 中 。 

如 采 数 据 分 散在 同一 侣 MongoDB 服 务 硕 的 多 个 数据 库 之 中 ， 还 可 以 通过 服务 需 的 
--directoryperdb 标 志 确 保 它们 的 容量 ， 这 将 在 数据 文件 路 径 中 为 每 个 数据 库 创 建 单独 的 目 
录 。 有 了 它 ， 你 还 可 以 为 每 个 数据 库 挂 载 单独 的 卷 〈 无 论 是 否 是 RAID )。 这 能 让 你 充分 发 挥 各 做 
盘 的 性 能 ， 因 为 你 可 以 从 不 同 的 磁盘 组 〈 或 固态 硬盘 ) 上 读 取 数据 。 

5. 文件 系统 

如 果 运 行 在 正确 的 文件 系统 上 ， 你 将 从 MongoDB 中 获得 最 好 的 性 能 。 特 别 是 sxt4 和 xfs 这 
两 个 文件 系统 ， 提 供 了 高 速 、 连 续 的 磁盘 分 配 。 使 用 这 些 文件 系统 能 够 提升 常见 的 MongoDB 预 
分 配 的 速度 。 

一 旦 挂 载 了 高 速 文件 系统 , 还 可 以 通过 禁止 修改 文件 的 最 后 访问 时 间 (atime ) 来 提升 性 能 。 
通常 情况 下 ， 每 次 文件 有 读 写 时 操作 系统 都 会 修改 文件 的 atime。 在 数据 库 环境 中 ， 这 和 带 来 了 很 
多 不 必要 的 工作 。 在 Linux 上 关闭 atime 相 对 比较 容易 。 首 先 ， 备份 文件 系统 的 配置 文件 ; 然后 ， 
用 你 喜欢 的 编辑 硕 打 开 原来 的 文件 : 


sudo cp /etc/fstab /etc/fstab.bak 
sudo vim /etc/fstab 


针对 每 个 挂 载 的 卷 , 你 会 看 到 一 个 列 对 齐 的 设置 列表 。 在 options 列 里 , 添加 noatime 指 令 : 


i# file-system mount type options dump pass 
UUID=8309beda-bf62-43 /ssd ext4 noatime 0 2 


保存 修改 内 容 ， 新 的 设置 应 该 能 立刻 生效 。 

6. 文件 描述 从 

一 些 Linux 系 统 最 多 能 打开 1024 个 文件 描述 符 。 有 时 ， 这 个 限制 对 MongoDB 而 言 太 低 了 ,在 
打开 连接 时 会 引起 错误 〈 在 日 志 里 能 清楚 地 看 到 这 点 )。MongoDB 顺 理 成 草地 要 求 每 个 打开 的 文 
件 和 网 络 连接 都 有 一 个 文件 描述 符 。 假设 将 数据 文件 保生 在 一 个 文件 夹 里 , 其 中 有 data 这 个 单词 ， 





















































Q@) 如 想 对 RAID 级 别 有 个 概要 认识 ， 请 访问 http://en.wikipedia.org/wiki/Standard RAID levels。 
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可 以 通过 1sof 和 一 些 管 道 看 到 数据 文件 摘 述 符 的 数量 : 

lsof | grep mongo | grep data | we -1 
统计 网 络 连接 描述 符 数 量 的 方法 也 很 傈 单 : 

lsof | grep mongo | grep TCP | wc -1 

对 于 文件 描述 符 , 最 佳 策 略 是 一 开始 就 设 定 一 个 很 高 的 限额 , 使 得 在 生产 环境 中 永远 都 不 会 
达到 该 值 。 可 以 使 用 ulimit 工 具 检 查 当 前 的 限额 : 

ulimit -Hn 

要 永久 提升 限额 ， 可 以 用 编辑 带 打 开 limits .conf: 

sudo vim /etc/security/limits.conf 
然后 ， 设 置 软 、 便 限额 ， 这 些 限 额 是 基于 每 个 用 户 指定 的 。 下 面 的 例子 假设 mongodpb 用 户 将 运行 
mongod 进 程 . 

















mongod soft nofile 2048 
mongod hard nofilje 10240 


新 设置 将 在 用 户 下 次 登录 时 生效 。 

7. 时 钟 

事实 证 明 ， 复 制 容 易 受 到 时 钟 偏 移 ( clock skew ) 的 影响 。 如 果 托 管 了 副本 集中 多 个 节点 的 
机 和 融 的 时 钟 之 间 存 在 分 攻 ， 副 本 集 就 可 能 无 法 正 背 运作 了 。 这 可 不 是 理想 状态 ， 和 地 好 存在 解决 方 
案 。 你 要 确保 每 台 服 务 器 都 使 用 了 NTP ( Network Time Protocol， 网 络 时 间 协 议 )， 借 此 保持 服务 
希 时 钟 的 同步 。 在 Unix 类 的 系统 上 ， 也 就 是 运行 atpd 守 护 进 程 ; 在 Windows 上 ，Windows Time 
Services 就 能 担当 这 个 角色 。 

8. 云 

有 越 来 越 多 的 用 户 在 虚拟 化 环境 中 运行 MongoDB ,这些 环 境 统 称 为 云 。 其 中 , 亚马逊 的 EC2 
因 其 易 用 性 、 广 泛 的 地 理 分 布 以 及 强 有 力 的 价格 成 为 了 用 户 的 首选 。EC2 及 其 他 类 似 的 环境 都 能 
部 团 MongoDB， 但 你 也 要 牢记 它们 的 缺点 ， 尤 其 是 在 应 用 程序 要 将 MongoDB 推 呵 其 极限 之 时 。 

EC2 的 第 一 个 问题 是 你 只 能 选择 儿 种 有 限 的 实例 类 型 。 在 本 书 编写 时 ， 还 没有 超过 68 GB 内 
存 的 虚拟 实例 。 此 类 约束 强迫 你 在 工作 集 超过 68 GB 时 对 数据 库 进 行 分 片 ， 这 并 非 适 用 于 所 有 应 
用 程序 。 如 果 能 运行 于 真实 的 人 硬件 之 上 , 你 可 以 拥有 更 多 内 存 ; 相同 的 人 硬件 成 本 下 ， 这 能 影响 分 





























片 的 决定 。 
为 一 个 洪 在 问题 是 EC2 从 本 质 上 来 说 是 一 个 黑 盒 ， 你 可 能 会 遭遇 服务 中 断 或 实例 变 慢 ， 却 无 
法 进行 诊断 或 补救 。 


第 三 个 问题 与 存储 有 关 。EC2 人 允许 你 挂 载 虚 拟 块 设 备 ， 称 为 EBBS 卷 。EBS 卷 提供 了 很 大 的 灵 
活性 ， 人 允许 你 按 需 添加 存储 并 在 机 需 间 移动 卷 。 它 还 能 让 你 制作 快照 ， 以 便 用 于 备份 。EBS 卷 的 
问题 在 于 无 法 提供 很 高 的 吞吐 量 ， 尤 其 是 在 和 物理 磁盘 进行 比较 时 。 为 此 ， 大 多 数 MongoDB 用 
户 在 EC2 上 托管 重要 应 用 程序 时 ， 都 会 对 EBS 做 RAID 10， 以 此 提升 读 否 吐 量 。 这 对 高 性 能 应 用 
程序 而 言 是 必 不 可 少 的 。 
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出 于 这 些 原 因 ， 比 起 处 理 EC2 的 限制 和 不 可 预测 性 ， 很 多 用 户 更 青睐 于 在 自己 的 物理 便 件 上 
运行 MongoDB。 但 是 ，EC2 和 其 他 云 环境 非常 方便 ， 为 很 多 用 户 所 广泛 接受 。 在 正式 使 用 云 存储 
之 表 ， 要 惯 重 考虑 应 用 程序 的 情况 ， 并 在 云 中 进行 测试 。 











10.1.2 ”服务 器 配置 


一 旦 决定 了 部 署 环 境 , 你 需要 确定 总 体 服务 兹 配置 。 这 涉及 选择 服务 各 的 拓扑 和 决定 是 否 使 
用 Journaling 日 志 ， 以 及 如 何 使 用 。 

1. 选择 一 种 拓扑 结构 

最 小 的 推荐 部 署 拓扑 是 三 个 成 员 的 副本 集 。 其 中 至 少 有 两 个 是 数据 存储 〈 非 仲裁 ) 副本 ,位 
于 不 同 的 机 右上 , 第 三 个 成 员 可 以 是 另 一 个 副本 , 也 可 以 是 仲裁 节点 。 仲 裁 季 点 无 需 目 己 的 机 和 天 ， 
举例 来 说 ， 你 可 以 把 它 放 在 应 用 服务 融 上 。 第 8 曹 里 有 两 套 合理 的 副本 集 部 署 配置 。 

如 采 从 一 开始 你 就 预计 到 工作 集 大 小 会 超过 内 存 , 那 开始 时 就 可 以 使 用 分 片 集群 了 ,其 中 至 
少 包 含 两 个 副本 集 。 第 9 章 中 有 分 片 部 署 的 详细 推荐 配置 ， 还 有 关于 何 时 开始 分 片 的 建议 。 

你 可 以 部 署 单 台 服务 融 来 文 持 测试 和 预 发 布 环境 。 但 对 于 生产 环境 部 署 而 言 ， 并 不 推荐 采用 
单 台 服务 咒 ， 就 算 开 局 了 Journaling 日 志 也 是 如 此 。 只 有 一 从 服务 融会 为 备份 和 恢复 造成 一 定 复 
杂 性 ， 当 服务 需 发 生 故 障 时 ， 无 法 进行 故障 转移 。 

但 是 , 在 极 少 的 几 种 情况 下 也 有 例外 。 如 采 应 用 程序 不 需要 高 可 用 性 或 者 快速 恢复 ,数据 集 
相对 较 小 ( 比方 说 小 于 1 GB )， 那 么 运行 在 一 侣 服务 项 上 也 是 可 以 的 。 即 使 如 此 ， 考 感到 日 益 下 
降 的 硬件 成 本 ， 以 及 复制 所 带 来 的 众多 好 处 ， 先 前 提 到 的 单机 方案 确实 没什么 亮点 。 

2. Journaling 日 志 

MongoDB v1.8 引 入 了 Journaling 日 志 ， 而 MongoDB v2.0 会 默认 开启 Journaling 日 志 。 当 
Journaling 日 记 开 启 时 ，MongoDB 在 写 入 核心 数据 文件 时 会 先 把 所 有 写 操 作 提 交 到 Journaling 日 志 
文件 里 。 这 能 让 MongoDB 服 务 右 在 发 生 非 正常 关闭 时 快速 恢复 并 正常 上 线 。 

在 v1.8 之 醒 没 有 此 类 特性 ， 因 此 非 正 常 关闭 经 常会 导致 灾难 。 这 怎么 可 能 呢 ?” 我 之 前 多 次 提 
到 MongoDB 把 每 个 数据 文件 映射 到 虚拟 内 存 里 。 也 就 是 说 ， 当 MongoDB 执 行 写 操作 时 ， 它 是 写 
人 虚拟 内 存 地 址 ， 而 非 下 接 写 入 磁盘。OS 内 核 周 期 性 地 将 这 些 写 操 作 从 虚拟 内 存 同 步 到 磁盘 上 ， 
但 是 其 频率 和 完整 性 是 不 确定 的 ， 因 此 MongoDB 使 用 fsync 系 统 调用 每 60 s 对 所 有 数据 文件 做 一 
次 强制 同步 。 这 里 的 问题 在 于 ， 如 果 MongoDB 进 程 在 还 有 未 同步 的 写 操 作 时 被 杀 掉 了 ， 那 么 则 
无 法 获知 数据 文件 的 状态 。 这 就 可 能 损坏 数据 文件 。 

在 没有 开局 Journaling 日 志 的 mongoad 进 程 发 生 非 正常 关闭 时 ， 想 将 数据 文件 恢复 到 一 致 状态 
要 运行 一 次 修复 。 修 复 过 程 会 重 写 数 据 文 件 ， 抛 弃 所 有 它 无 法 识别 的 内 容 ( 损坏 的 数据 )。 因 为 
大 家 通常 都 不 太 能 接受 信 机 和 数据 丢失 ,所 以 这 种 修复 途径 一 般 只 能 作为 最 后 的 恢复 手段 。 从 现 

副本 中 重新 邮 步 数据 几乎 总 是 比较 方便 可 徘 的 方法 ， 这 也 是 运行 复制 如 此 重要 的 原因 之 一 。 

Journaling 日 志 让 你 不 再 需要 修复 数据 库 ， 因 为 MongoDB 能 用 Journaling 日 志 将 数据 文件 恢复 
到 一 致 状态 。 在 MongoDB v2.0 里 ,Journaling 日 志 是 默认 开启 的 , 但 是 你 也 可 以 通过 -nojournal 
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标志 禁用 人: 

$s mongod --nojournal 

开局 Journaling 日 志 时 ,日 志文 件 被 放 在 一 个 名 为 journal 的 目录 里 ,该 目录 位 于 主 数 据 路 径 
下 面 6 

如 果 你 在 运行 MongoDB 服 务 侣 时 开启 了 Journaling 日 志 ， 请 牢记 几 点 。 第 一 点 ，Journaling 日 
志 会 降低 写 操作 的 性 能 。 既 想 获得 最 高 写 人 性 能 ， 又 想 有 Journaling 日 志保 障 的 用 户 有 两 个 选择 。 
其 一 ， 只 在 被 动 副本 上 开局 Journaling 日 志 ， 只 要 这 些 副 本 能 和 主 节 点 保持 一 致 ， 就 无 需 牺 牲 性 
能 。 吨 一 个 解决 方案 ， 也 许 和 前 着 是 互补 的 ， 是 为 Journaling 日 志 挂 载 一 块 单独 的 人 磁盘， 然后 在 
journal 目 录 和 辅助 卷 之 间 创 建 一 个 符号 链接 。 辅 助 卷 不 用 很 大 , 一 块 120 GB 的 磁盘 就 足够 了 ， 这 
个 大 小 的 固态 便 盘 (SSD ) 的 价格 还 是 可 以 承受 的 。 为 Journaling 日 志 挂 载 一 块 单独 的 SSD 能 确保 
将 它 运 行 时 的 性 能 损耗 降 到 最 小 。 

第 二 点 ，Journaling 日 志 本 喘 并 不 保证 不 会 丢失 写 操 作 ， 它 只 能 保证 MongoDB 始 终 能 恢复 到 
一 致 状态 , 重新 上 线 。Journaling 日 志 的 机 制 是 每 100 ms 将 写 缓冲 和 磁盘 做 一 次 同步 。 因 此 一 次 非 
正常 关闭 最 多 只 会 丢失 100 ms 里 的 写 操 作 。 如 果 你 的 应 用 程序 无 法 接受 这 种 风险 ， 可 以 使 用 
getlasterror 命 令 的 j 选 项 ， 计 服务 器 在 Journaling 日 志 同 步 后 才 返 回 : 


db.runCommand ({getlasterror: 1, Jj: true}) 


在 应 用 程序 层 , 可 以 用 safe 模 式 选 项 (与 wy 和 wt imeout 类 似 )。 在 Ruby 里 ， 可 以 像 这 样 使 用 
j 选项: 



































Qcollection.insert(doc, :safe => {:j => true}) 

一 定 要 注 章 ,每 次 写 操 作 都 像 这 样 做 是 不 明知 的 ， 因 为 这 会 强迫 每 次 写 操 作 都 每 到 下 次 
Journaling 日 志 同 步 才 返回 。 也 就 是 说 , 所 有 的 写 操作 都 可 能 要 等 100 ms 才能 返回 。 因 此 请 谨慎 使 
用 本 特性 。” 


10.1.3 ”数据 的 导入 与 导出 


如 采 你 正 从 现 有 系统 迁移 到 MongoDB， 或 者 需要 从 数据 仓库 填充 数据 ， 那 么 就 需要 一 种 有 
效 的 导 和 人 方法。 你 可 能 还 需要 一 个 好 的 导出 策略 ， 因 为 可 能 要 从 MongoDB 里 将 数据 导出 到 外 部 
处 理 任务 中 。 例 如 ， 将 数据 导出 到 Hadoop 进 行 批 处 理 就 已 成 为 一 种 常见 实践 。” 

有 两 种 途径 将 数据 导入 和 导出 MongoDB ， 你 可 以 使 用 目 市 的 工具 
mongoexport， 或 者 使 用 某 个 驱动 编写 一 个 简单 的 程序 。” 

1. mongoimport 与 mongoexport 


MongoDB 自 带 了 两 个 导入 、 导 出 数据 的 工具 : mongoimport 和 mongoexport。 你 可 以 通过 

















mongoimport 和 








GD MongoDB 的 未 来 版 本 里 会 有 更 细 粒 度 的 Journaling 日 志 同 步 控制 ， 请 查看 最 新 的 发 布 说 明了 解 详细 情况 。 
@) 对 于 这 种 特定 用 法 ， 在 http:/github.com/mongodb/mongo-hadoop 可 以 找到 官方 支持 的 MongoDB-Hadoop 适 配 需 。 
(3) 注意 ， 数 据 的 导入 和 导出 与 备份 有 所 不 同 ， 本 章 后 面 会 讨论 备份 相关 的 内 容 。 
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mongoimport 导 入 JSON、CSV 和 TSV 文 件 ， 这 通常 用 于 从 关系 型 数据 库 疝 MongoDB 加 载 数 据 : 

s mongoimport -d stocks -c values --type csv --headerline stocks.csv 

本 例 中 ， 你 将 一 个 名 为 stocks.csv 的 CSV 文 件 导 和 人 到 了 stocks 数 据 库 的 values 集 合 里 。 
--headerline 标 志 表 明了 CSV 的 第 一 行 包含 字段 名 。 可 以 通过 mongoimport --help 看 到 所 有 
的 导入 选项 。 

可 以 通过 mongoexport 将 一 个 集合 的 所 有 数据 导出 到 一 个 JSON 或 CSV 文 件 里 : 

Ss mongoaxbort -a StOCkS SC valUes <0 SLOGKS GS 

这 条 命令 会 将 数据 导出 到 stocks.csv 文 件 里 。 与 mongoimport 类 似 , 你 可 以 通过 --help 看 到 
mongoexport 的 其 他 命令 选项 。 

2. 自 定义 导入 与 导出 脚本 

当 处 理 的 数据 相对 扁平 时 ， 你 可 能 会 使 用 MongoDB 的 导入 导出 工具 ; 一 旦 引入 了 子 文档 和 
数组 ，CSV 格 式 就 有 些 “ 力 不 从 心 ” 了 ,因为 它 不 是 设计 来 表示 内 藤 数 据 的 。 当 需要 将 宇文 档 导 
出 到 CSV 或 者 从 CSV 导 入 一 个 富 MongoDB 文 档 , 也 许 构 建 一 个 自 定 义工 具 会 更 方便 。 你 可 以 使 用 
任意 驱动 实现 这 一 目标 。 例 如 ，MongoDB 用 户 通 常会 编写 一 些 脚 本 连接 关系 型 数据 库 ， 随 后 将 
两 张 表 的 数据 整合 到 一 个 集合 里 。 

将 数据 移 人 和 移出 MongoDB 是 件 很 复杂 的 事 : 数据 建 模 的 方式 会 因 系 统 而 异 。 在 这 些 情况 
下 ， 要 做 好 将 驱动 当成 转换 工具 的 准备 。 

















10.1.4 安全 


大 多 数 RDBMS 都 有 一 套 复 杂 的 安全 子 系 统 ， 可 以 对 用 户 和 用 户 组 授权 ， 进 行 细 粒 度 的 权限 
控制 ,与 此 相反 ,MongoDB v2.0 只 支持 简单 的 .针对 每 个 数据 库 的 授权 机 制 , 这 就 让 运行 MongoDB 
的 机 需 的 安全 性 变 得 更 加 重要 了 。 此 处 我 们 会 讨论 在 安全 环境 里 运行 MongoDB 所 需 考虑 的 一 些 
重点 内 容 ， 并 解释 身份 验证 是 如 何 进行 的 。 

1. 安全 环境 

和 所 有 数据 库 一 样 ，MongoDB 应 该 运行 在 一 个 安全 环境 里 。 生 产 环 境 中 ，MongoDB 的 用 户 
必须 利用 现代 操作 系统 的 安全 特性 来 确保 数据 的 安全 。 在 这 些 特性 之 中 , 也 许 最 重要 的 就 是 防火 
墙 了 。 在 结合 使 用 防火 墙 与 MongoDB 时 ， 唯 一 湾 在 的 难点 是 了 解 哪 台 机 融 需 要 和 其 他 机 需 互 相 
通信 。 还 好 ,通信 规则 很 简单 。 在 副本 集中 ， 每 个 节点 都 要 能 和 其 他 节点 通信 。 此 外 ， 所 有 数据 
库 客 户 并 都 必须 能 连接 到 各 个 它 可 能 会 通信 的 副本 集 市 点 上 。 

分 片 集群 中 含有 副本 集 ， 因 此 所 有 副本 集 的 规则 都 能 适用 ; 在 分 片 的 情况 下 ， 客户 端 是 
mongos 路 由 融 。 除 此 之 外 : 

口 所 有 分 片 都 必须 能 与 其 他 分 片 直 接 通 信 ; 

口 分 片 与 nongos 路 申 上 需 都 必须 能 连 上 配置 服务 喜 。 

相关 的 安全 关注 点 是 绑 定 地 址 (bind address )。 默 认 人 情况 下 ，MongoDB 会 监听 本 机 的 所 有 地 
址 ， 但 你 可 能 只 想 监 听 一 个 或 几 个 特殊 的 地 址 。 为 此 ， 可 以 在 局 动 mongoda 和 mongos 时 市 上 
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--bingd_ip 选 项 ， 它 接受 一 个 或 多 个 逗号 分 隔 的 人 P 地 址 。 例 如 ， 想 要 监 昕 loopback 接 口 和 内 部 IP 
地 址 10.4.1.55， 可 以 像 这 样 启 动 mongoda: 

mongod --bind ip 127.0.0.1,10.4.1.55 

请 注意 ， 机 需 之 间 发 送 数据 都 使 用 明文 ， 官 方 的 SSL 文 持 安排 在 MongoDB v2.2 中 发 布 。 

2. 身份 验证 

MongoDB 的 吴 份 验证 最 早 是 为 那些 在 共享 环境 下 托管 MongoDB 服 务 顺 的 用 户 构 建 的 。 它 的 
功能 并 不 多 ， 但 在 需要 一 些 额 外 安全 保障 时 还 是 很 有 用 的 。 我 们 先 讨 论 一 下 吴 份 验证 API， 然 后 
再 描述 如 何在 副本 集 和 分 片 中 使 用 该 API。 

@ 身份 验证 API 

要 着 手 了 解 喘 份 验 证 , 先 创建 一 个 管理 员 用 户 , 切换 到 aqmin 数 据 库 , 运行 db.addUser () ， 
该 方法 接受 两 个 参数 : 一 个 用 户 名 和 一 个 密码 。 


> use admin 
> db.addUser ("boss", "supersecret") 


管理 员 用 户 能 创建 其 他 用 户 , 还 能 访问 服务 器 上 的 所 有 数据 库 。 有 了 它 ， 你 就 能 开启 里 份 验 
证 了 ， 在 重启 mongod 实 例 时 加 上 --auth 选 项 ; 

$ mongod --auth 

现在 ， 只 有 通过 吴 份 验证 的 用 户 才能 访问 数据 库 。 重 启 Shell， 随 后 使 用 ab .autnh () 方 法 以 
管理 员 映 份 登录 : 


> use admin 
> db.auth("boss", "supersecret") 


现在 可 以 为 个 别 数据 库 创建 用 户 了 。 如 果 想 要 创建 只 读 用 户 ， 将 true 作 为 db.addUser () 
方法 的 最 后 一 个 参数 。 这 里 将 为 stocks 数 据 库 添加 两 个 用 户 。 第 一 个 用 户 拥 有 所 有 权限 ， 第 二 
个 只 能 谈 取 数据 库 的 数据 : 

> USe stocks 


> db.addUser ("trader", "moneyfornuthin") 
> db.addUser ("read-only-trader", "foobar", true) 


现在 ， 只 有 三 个 用 户 能 访问 stocks 数 据 库 ， 他 们 是 boss、 trad -6nder. 
如 有 果 你 希望 查看 拥有 某 个 数据 库 访问 权限 的 所 有 用 户 的 列表 ， 可 以 查询 system.users 集 合 : 


> db.system.users.tind!() 
{ "_id" : ObjectIid("4d82100a6dfa7bb906bc4df7"), 








坚 











"SEL "trader"u “readadonly, falee, 
"Pwd" : "e9ee53b89ef976c71d48bb3d4ea4bffc1l" } 

{ "_id" : ObjectId("4d8210176dfa7bb906bc4df8"),， 
"user" : "read-only-trader", "readonly" : true, 
"pwd" : "Cc335fd71fb5143d39698baab3fdc2b31" } 


从 该 集合 中 删除 某 个 用 户 , 就 能 撤销 它 对 某 个 数据 库 的 访问 权限 .如 果 你 更 青睐 于 辅助 方法 ， 
可 以 使 用 Shell 里 的 ab .removeUser () 方 法 ， 它 的 作用 是 一 样 的 。 
你 并 不 需要 显 式 注销 , 中 断 连 接 (关闭 Shell ) 就 行 了 。 但 是 如 果 你 需要 , 也 有 注销 命令 可 用 : 


> db.runCommand ({logout: 1}) 
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当然 ， 你 也 可 以 通过 驱动 使 用 我 们 此 处 看 到 的 全 部 号 份 验 证 迎 辑 ， 请 查看 驱动 的 APIT 解 更 
多 详情 。 

@ 副本 集 身 份 验证 

副本 集 也 文 持 刚才 介绍 的 号 份 验证 API, 但 是 为 副本 集 开 局 吴 份 验证 还 需要 额外 的 儿 个 步骤 。 
开始 时 ,创建 一 个 文件 ， 其 中 至 少 包含 6 个 Base64 字 符 集 "中 的 字符 。 文 件 的 内 容 会 被 作为 某 种 密 
码 ， 每 个 副本 集成 员 都 会 用 它 来 和 其 他 成 员 进行 映 份 验 证 。 举 个 例子 ， 你 可 以 创建 一 个 名 为 
secret .txt 的 文件 ， 其 内 容 如 下 : 

tOps3cr3tpa55word 

将 该 文件 放 到 每 个 副本 集成 员 的 机 硕 上 ,调整 文件 权限 ,以便 只 有 文件 的 拥有 者 才能 访问 它 : 

sudo chmod 600 /home/mongodb/secret.txt 

最 后 ， 在 启动 每 个 副本 集成 员 时 使 用 --keyFile 选 项 指定 密码 文件 的 位 置 : 

mongod --keyFile /home/mongodb/secret.txt 

现在 副本 集 就 已 经 开启 映 份 验 证 了 ,你 会 希望 事先 创建 一 个 管理 员 用 户 , 就 像 上 一 市 里 那样 。 

@ 分 片 身 份 验 证 

分 身份 验证 是 副本 集 喘 份 验证 的 一 个 扩展 。 集 群 里 的 每 个 副本 集 都 已 经 像 刚 才 介绍 的 那 
样 ， 通 过 密 钥 文件 保护 起 来 了 。 此 外 ， 所 有 的 配置 服务 硕 和 每 个 nongos 实 例 也 都 拥有 一 个 包含 
相同 密码 的 密 钥 文 件 。 在 启动 每 个 进程 时 都 用 --keyFile 选 项 指定 包含 密码 的 文件 , 整个 分 片 集 
群 都 使 用 该 密码 。 完 成 这 个 步 又， 整个 集群 就 能 使 用 身份 验证 了 。 
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在 生产 环境 中 部 署 完 MongoDB ， 你 就 希望 能 了 解 它 的 运转 情况 。 如 果 系 统 性 能 在 慢 慢 下 降 
或 者 经 常 发生 故 障 ， 你 希望 能 够 知道 这 些 情况 ,这 就 该 用 到 监控 了 。 让 我 们 先 从 最 简单 的 监控 开 
始 : 日 志 。 随 后 我 们 会 看 一 些 内置 命 令 ， 它 们 能 提供 正在 运行 的 MongoDB 服 务 需 的 大 多 数 信息 ; 
这 些 命令 是 mongostat 工 具 和 Web 控 制 台 的 基础 , 我 会 对 mongostat 工 具 和 Web 控 制 台 做 个 简要 
说 明 。, 我 还 会 推荐 几 个 外 部 监控 工具 ,本 市 最 后 会 介绍 两 个 诊断 工具 : psondump 和 和 mongosniff。 











10.2.1 日 记 


日 志 是 第 一 级 监控 ， 正 因 如 此 ， 你 应 该 计划 保留 所 有 部 署 的 MongoDB 的 日 志 。" 通常 这 都 不 
是 问题 ， 因为 MongoDB 在 后 台 运 行 时 要 求 你 指定 - -1ogpath 选 项 。 此 外 ， 还 有 一 些 需 要 留意 的 
额外 设置 。 要 开局 详细 日 志 (verboselogging )， 在 局 动 nongodq 进 程 时 加 上 -vvvvv 选 项 〈v 越 多 ， 
输出 越 详 细 )。 举 例 来 说 ， 如 果 需 要 调试 一 些 代 码 ， 想 要 在 日 志 里 记录 下 每 个 查询 ， 这 就 很 方便 。 
但 是 也 要 注意 ， 话 细 日 志 会 让 日 志文 件 变 得 很 大 ， 可 能 会 影响 服务 规 的 性 能 。 














Gd Base64 字 符 集 由 以 下 字符 组 成 : 英文 字母 中 的 全 部 大 写 和 小 写字 母 、 数 字 0 ~ 9 以 及 + 和 /。 
@) 不 要 简单 地 通过 管道 将 日 志 输 出 到 /dev/null 或 stdout。 
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其 次 , 可 以 在 启动 mongoq 时 使 用 --1ogappend 选 项 , 这 会 让 日 志 追 加 到 现 有 日 志文 件 后 面 ， 
而 非 覆 盖 它 。 

最 后 ， 如 果 有 一 个 长 时 间 运 行 的 MongoDB 进 程 ， 你 可 能 想 写 一 个 脚本 周期 性 地 滚动 日 志文 
件 ， 为 此 ，MongoDB 提 供 了 1logrotate 人 命令， 可 以 像 这 样 在 Shell 里 运行 该 命令 : 


> use admin 
> db.runCommand ({logrotate: 


1}) 
各 进程 发 送 SsIGUSR1 信 号 也 能 运行 1ogrotate 命 令 ， 下 面 是 如 何 向 进程 号 为 12345 的 进程 发 


送 SIGUSR1 信 和 号: 


$ kill -SIGUSR1 12345 


10.2.2 ”监控 工具 


本 市 我 会 介绍 MongoDB 上 自 高 的 监控 命令 和 工具 。 
1. 数据 库 命令 
有 三 个 展示 MongoDB 内 部 状态 的 数据 库 命 令 ， 它 们 是 所 有 MongoDB 监 欣 应 用 程序 的 基础 。 


@ serverStatus 


servetrStatus 傅 令 的 输出 真是 名 副 其 实 的 内 容 丰 富 。 统 计 的 所 有 信息 当中 包含 页 错误 、B 
树 访问 率 、 打 开 连 接 数 , 以 及 总 的 搬入 、 更新、 查询 和 删除 。 下 面 是 一 段 节 选 后 的 serverStatus 
命令 输出 : 


> use admin 
> db.runCommand ({serverStatus: 1}) 


| 




















"ost 2 "UU 
verSioOnse S18 0 
Ngreles :IMmMOndoon 
"uptime" : 246562, 
"localTime" : ISODate("2011-03-13T17:01:37.189Z")， 
"globalLoek" 2 1 
"totalTime" : 246561699894， 
"lockTime" : 243, 
"ratio" : 9.855545289656455e-10, 
"currentQOueue" : 1 
NE 有 
"eaders :0， 
UNTEeEs > 0 
2 
je 
"IEmY. > 了 
6 
"resident 8U7 
vyireEuadl :9000., 
"mapped" : 6591 


nokn" 。 a } 
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globalDock 部 分 很 重要 ， 因 为 它 揭 示 了 服务 天花 在 写 锁 上 的 总 时 间 。 这 里 的 高 比例 说 明 写 
操作 有 瓶 氏 。curzrentoueue 也 许 是 更 具体 的 瓶 祷 表述 ， 如 果 有 大 量 的 读 或 写 等 在 队列 里 ， 那 么 
驳 该 进行 某 种 优化 了 。 

mem 部 分 显示 了 mongoq 进 程 是 如 何 使 用 内 存 的 。pits 字 段 说 明 这 是 一 台 64 位 的 机 需 。 
residqent 是 MongoDB 所 占用 的 物理 内 存 数量 。virtual 是 进程 所 映射 的 虚拟 内 存 的 兆 字 节 数 ， 
mappedq 是 virtual 的 子 集 ， 标 明 那 些 内 存 里 有 多 少 是 只 用 来 映射 数据 文 件 的 。 本 例 中 ， 有 大 约 
6.3GB 的 数据 文件 被 映射 到 了 虚拟 内 存 里 ， 其 中 3.5 GB 是 物理 内 存 。 我 反复 强调 ， 理 想 情 况 下 工 
作 集 应 该 能 被 放 到 内 存 里 ，mem 部 分 能 提供 一 个 大 概 的 信息 ， 说 明 情 况 是 否 如 此 。 

每 个 版 本 的 MongoDB 里 ，serverStatus 的 输出 都 会 有 所 变化 并 得 以 改进 ， 因 此 像 本 书 这 样 
在 非 永久 性 媒介 里 为 该 命令 编号 文档 并 不 总 是 很 有 和 帮助。 你 可 以 在 http://www.mongodb.org/display/ 
DOCS/serverStatus 看 到 该 命令 的 最 新 详细 说 明 。 

@ 七 OP 

op 命令 会 显示 每 个 数据 库 的 操作 计数 需 。 如 果 应 用 程序 使 用 了 多 个 物理 数据 库 ， 或 者 你 想 
看 看 操作 的 平均 耗 时 ， 那 么 这 是 个 有 用 的 命令 。 下 面 是 一 些 示例 输出 : 


> use admin 
> db.runCommand({top: 1}) { 
































ROLaLle i "eloud=doce 

eotal {Emer oO4470 0 "oOount e200, 
"readLocek s 1{ "time. © 324 .vaeoumnt” :12 }, 
"writeLock" : { "time" : 194146, "count" : 8 }, 
oeries" a "Elm 2 T94470 VeoumEr e209} 
"cetmore" 3 { "timer : QO, count, 2°0 1}, 

Ok 7 





此 处 可 以 看 到 很 多 时 间 都 花 在 了 写 锁 上 , 值得 深入 调查 一 下 , 看 看 写 操 作 是 否 有 可 以 优化 的 
地 方 。 
@ db.currentoOp!() 
能 知道 MongoDB 目 前 正在 做 什么 常常 很 有 用 ，gdb .currentop() 方 法 就 能 揭示 这 个 信息 ， 
会 返回 当前 正在 运行 的 所 有 操作 ， 以 及 正在 等 待 运行 的 其 他 操作 。 下 面 是 该 方法 的 输出 示例 ， 
是 在 上 一 草 里 配置 的 分 所 集群 上 运行 的 : 


db.currentOp!() 
[ee 











[a 
尼 


"opid" : "shard-1l-test-rs:1232866", 
让 VE tre 
"TookTyOer ww "read"., 
"waitingForLock" : false, 
"secs_running" : 11， 
"Oop" : "Guery", 
nev i oocs Loo 
eryY. em ( 

"Sswhere" : "this.n > 1000" 
jy 
"erent Ss" W127.0.0.1:38068". 
escC .Or 


Vt| 
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现在 正在 执行 一 条 特别 慢 的 查询 ， 可 以 看 到 它 已 经 运行 了 11 s 了 ， 和 所 有 查询 一 样 ， 它 会 占 
用 读 锁 。 如 果 这 个 操作 有 问题 ， 你 可 能 会 想 调查 一 下 它 的 调用 源 ， 可 以 看 看 client 字 段 。 啊 呀 ， 
这 是 一 个 分 片 集群 ,因此 调用 源 是 mongos 进 程 , 正如 client_s 字 段 名 所 标识 的 那样 。 如 果 要 杀 
挥 这 个 操作 ， 可 以 将 opia 传 给 db.killop() 方 法 : 


db.killOop("shard-1-test-rs:1232866") 

' 
"OD" "ehard | Uest Te L233330. 
"shard" : "shard-1-test-rs", 
ehargdng .| 2333390 

} 


如 果 想 要 查看 当前 MongoDB 服 务 天 上 正在 运行 的 所 有 操作 的 列表 ,可 以 使 用 如 下 虚拟 命令 : 


db[l'Scmd.sys.inprog'] .find({s$all: 1}) 





2. mongostat 

db.currentOp() 方 法 只 会 显示 特定 时 刻 排 在 队列 中 或 者 正在 执行 的 操作 。 类 似 的 ， 
serverStatus 命 令 只 提供 某 一 时 间 点 上 不 同系 统 字 段 和 计数 器 的 快照 。 但是， 有 些 时 候 你 需要 
系统 实时 活动 的 视图 , 这 时 就 该 mongostat 登 场 了 。 mongostat 歼 仿 iostat 和 其 他 类 似 的 工具 ， 
以 固定 时 间 间 隔 查 询 服务 需 信息 ， 显 示 统 计数 据 的 矩阵 ， 从 每 秒 搬 人数 到 篆 驻 内 存量 ， 再 到 B 树 

可 以 在 localhost 上 调用 mongostat 命 令 ， 显示 信息 每 秒 滚动 一 次 : 











8 mongostat 

mongostat 命 令 同 样 也 是 高 度 可 配置 的 , 可 以 通过 --help 查 看 所 有 选项 。 它 还 有 一 个 更 出 
名 的 特性 ， 即 集群 发 现 〈cluster discovery ); 在 启动 mongostat 时 市 上 --discover 选 项 ， 你 可 
以 将 它 指 癌 单个 方 点 ， 它 会 发 现 副 本 集 或 分 片 集群 中 的 剩余 方 点 ， 随 后 聚合 显示 整个 集群 的 统 
计 信 息 。 

3. Web 控 制 台 

通过 Web 控 制 台 ,你 能 以 更 可 视 化 的 方式 获得 某 个 运行 中 的 mongod 进 程 的 信息 ,每 个 nongod 
进程 都 会 监听 服务 峰 端 口 往 上 第 1000 个 端口 的 HITP 请 求 。 如 果 你 的 mongodq 运 行 在 27017 端 口 ， 
那么 web 控制 台 就 在 28017 端 口 。 如 果 运 行 在 localhost 上 ， 可 以 将 Web 浏 览 硕 指 回 
http://localhost:28017， 你 会 看 到 如 图 10-1 所 示 的 页 面 。 

开启 服务 右 的 基本 REST 接 口 后 ， 还 能 获得 更 多 状态 信息 。 如 果 在 启动 mongod 时 加 上 
--rest， 就 能 开启 很 多 额外 的 Web 控 制 台 命令 ，Web 控 制 台 的 登录 页 面 上 有 指 癌 它 们 的 链接 。 
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mongod arete.local 


List all commands | Replica set status 
Commands: byildinfo cursorinfo features isMaster listDatabases replSetGetStatus serverStatus top 


db version vi.g.0-we0, pdfile version 4.5 

git haoeh: 65a7ogld£f0747b6bE9 IO0b7TOo0102192bacdbad0 

ays info: Darwin arete.local 10.6.0 Darwin Kernel Version 10.6.0: Wed Nov 10 18:13:17 PST 2010; root:xnu-1504.9.26~3/R 
uptime: 170 seconds 


Iow level requires read lock 


time to get readlock: Oms 
# databasoes: 1 


roplicationy 
而 Bt 0 


Blave: (0 
initialSynceCcompletoed: 1 


clients 
Client Opld Active LockType Waiting SecsRunning Op Namespace Query client msg progress 


{name: 
/Mocal.temp./} 0.0.0.0:0 


initandlisten 0 W 2004 webinar 

snapshotthread 0 0 (NONE) 

clientcursormon 0 月 (NONE) 
0 


websvr 0 (NONE) 


dbtop (occurenceslpercent of elapsed) 
total Reads Writes Queries GetMores Inserts Updates Removes 
13 7.1% 1 0.0% 12 7.19% 13 7.1% 0 0% 0 0% 0 0% 0 0% 
0.6% 0 0% 0.6% 1 0.6%0 0 0% 0 0% 0% 
1.0% 0 0% 1.0% 1 1.0% 0 0 0% 0 0% 
0.3% 0 0% 0.3% 1 0.3% 0 0 0% 0 0% 
0.9% 0 0% 0.9% 1 0.9% 0 0 0% 0 ‘0% 


~ MM 喝 全 AL 从 4 AM ~ 





图 10-1 MongoDB Web 控 制 台 


10.2.3 ”外 部 监控 应 用 程序 


大 多 数 重 要 的 部 署 都 要 求 有 外 部 监控 应 用 ， ee 次 流行 的 开源 监控 系统 ， 很 
多 MongoDB 部 署 都 用 它们 来 进行 监控 。 两 款 工 具 都 只 需 安 装 一 个 简单 的 开源 插件 就 能 监控 
MongoDB。 

编写 一 个 针对 某 款 监控 应 用 程序 的 插件 并 非 难 事 ， 一 役 邵 涉及 针对 茶 个 在 线 MongoDB 数 据 
到 行 不 同 统计 全 证 邻 。 serverStatus.、 dbstats 和 collstats 命 令 通 名 就 月 E 提 供需 要 的 所 有 信 
上 县， 你 能 直接 通过 HTTP REST 接 口 获 得 所 有 这 些 信息 ， 不 需要 使 用 驱动 。 








10.2.4 诊断 工具 (mongosniff、bsondump) 


MongoDB 包 含 两 个 诊断 工具 。 第 一 个 是 mongosniff， 它 能 侦 听 客户 端 发 给 MongoDB 服 务 
和 数据 包 并 将 其 以 易于 理解 的 形式 输出 。 如 果 恰 好 要 编写 一 个 驱动 或 是 调试 一 个 错误 连接 ,于 
这 就 是 最 好 的 工具 。 可 以 像 下 面 这 样 局 动 nongosniff， 鉴 听 本 地 网 络 接口 的 默认 妆 口 : 


202 第 10 章 部 署 与 管理 


sudo mongosniff --source NET I0 
有 客户 并 ( 比方 说 MongoDB Shell ) 连接 上 来 之 后 ， 你 会 得 到 一 个 简单 易 读 的 网 络 交互 情况 : 
127.0.0.1:58022  -->> 127.0.0.1:27017 test.Scmaq 61 bytes 
1Qd:89ac9c1dqd 2309790749 gquery: { isMaster: 1.0 } ntoreturn: -1 
127.0.0.1:27017 <<== 127.0.0.1:58022 87 bytes 


reply n:1 cursorld: 0 { ismaster: true, ok: 1.0 } 
通过 --help 可 以 看 到 mongosniff 的 所 有 选项 。 
另 一 个 有 用 的 工具 是 bsondqump ， 人 允许 你 查看 原始 BSON 文 件 。BSON 文 件 是 由 mongodqump 
工具 ( 稍 后 会 讨论 它 ) 和 副本 集 回 滚 来 生成 的 。 "举例 来 说 ， 假 设 你 导出 了 一 个 只 有 单个 文档 的 
集合 。 如 果 那 个 集合 最 终 被 放 到 一 个 名 为 users .bson 的 文件 里 , 那么 可 以 轻松 地 用 如 下 命令 查 





2 
看 文件 内 容 : 
$s bsondump users.bson 
{ "_id" : ObjectId( "4d82836dc3efdb9915012b91" )， "name" : "Kyle" } 








可 以 看 到 ，pbsondump 默 认 将 BSON 输 出 为 JSON。 如 果 正 进行 重要 的 调试 工作 ， 你 需要 查看 
真正 的 BSON 类 型 构成 及 大 小 。 为 此 ， 以 调试 模式 运行 工具 . 


S bsondump --type=debug users.bson 





RE 
1EeT 7/ 


type: 7 size: 17 


type: 2 size: 15 


该 命令 显示 了 对 和 象 的 总 大 小 (37 字 市 )、 两 个 字段 的 类 型 (7 和 2 ) 以 及 那些 字段 的 大 小 。 


10.3 ”维护 


本 方 我 会 介绍 三 个 最 常用 的 MongoDB 维 护 任 务 , 首先 要 讨论 的 是 备份 。 和 其 他 数据 库 一 样 ， 
你 也 该 有 个 日 常备 份 策略 。 随 后 ， 我 会 介绍 压 紧 ( compaction )， 因 为 在 少数 几 种 情况 下 ， 数 据 
文件 需要 压 紧 。 最 后 再 人 简要 地 说 一 下 升级 ， 在 条 件 允 许 时 ， 你 会 希望 运行 最 新 的 稳定 版 
MongoDB。 


10.3.1 备份 与 恢复 


在 运行 生产 环境 数据 库 时 , 有 一 部 分 工作 内 容 就 是 准备 应 对 灾难 , 备份 在 其 中 扮演 了 重要 的 
角色 。 当 灾难 不 期 而 至 时 ,好 的 备份 能 力挽狂澜 ， 这 时 你 绝 不 会 为 日 第 备份 所 投入 的 时 间 和 精力 
而 感到 后 悔 。 但 还 是 有 些 用 户 决 定 不 做 备份 ， 当 他 们 中 到 问题 无 法 恢复 日 己 的 数据 库 时 ， 只 能 说 
是 目 作 目 受 ， 你 可 千 万 别 加 他 们 和 学习。 






































QD 还 有 其 他 一 些 情况 下 你 也 会 看 到 原始 BSON 文 件 ， 但 是 MongoDB 的 数据 文件 并 非 其 中 之 一 ， 所 以 不 要 尝试 用 
bsondump 查 看 它们 0 
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MongoDB 数 据 库 有 两 个 常规 的 备份 策略 ， 第 一 个 是 使 用 mongodump 和 mongorestore 工 具 ; 
第 二 ， 而 且 很 可 能 是 更 常用 的 ， 是 复制 原始 的 数据 文件 。 

1. mongodump 与 mongorestore 

mongodump 能 把 数据 库 的 内 容 导 出 成 BSON 文 件 ， 而 mongorestore 则 能 读 取 并 还 原 这 些 文 
件 。 这 些 工 具 在 备份 单个 集合 、 数 据 库 乃至 整个 服务 禹 时 都 非常 有 用 。 它 们 能 运行 于 线 上 服务 带 
(无需 锁定 或 关闭 服务 絮 )， 你 也 可 以 在 服务 需 被 锁定 或 关闭 时 将 它们 指向 一 组 数据 文件 。 最 简单 
的 mongodump 运 行 方 法 如 下 : 

§ mongodump -h localhost --port 27017 

这 能 把 1ocalhost 服 务 名 上 的 每 个 数据 库 和 集合 都 导出 到 名 为 dqump 的 目录 里 。 导 出 的 内 容 
包含 每 个 集合 里 的 所 有 文档 , 还 包含 定义 了 用 户 和 索引 的 系统 集合 。 但 值得 注意 的 是 索引 本 号 并 
不 包含 其 中 , 也 就 是 说 ， 在 恢复 时 必须 重建 全 部 索引 。 如 果 你 的 数据 集 特 别 大 ， 或 是 拥有 大 量 索 
引 ， 那 么 这 会 花费 不 少时 间 。 

在 还 原 BSON 文 件 时 ， 运 行 mongorestore， 将 它 指 回 aump 文 件 夹 : 

s mongorestore -h localhost --port 27017 dump 

请 注意 ， 在 还 原 过 程 中 mongorestore 默 认 不 会 删除 数据 。 因 此 ， 如 果 你 回 一 个 现 有 数据 库 
还 原 数据 ， 请 务必 带 上 - -arop 标 志 。 

2. 基于 数据 文件 的 备份 

大 多 数 用 户 选 择 基于 文件 的 备份 , 将 原始 数据 文件 复制 到 一 个 新 的 位 置 。 这 种 方法 在 大 多 数 
情况 下 比 mongodump 要 快 ， 因 为 在 备份 和 还 原 时 无 需 转 换 数 据 。" 唯 一 潜在 的 问题 是 基于 文件 的 
备份 要 求 锁定 数据 库 , 但 是 通常 你 都 会 锁定 从 市 点 ,因此 在 备份 的 过 程 中 应 用 程序 应 该 能 够 保持 
在 线 。 






























































复制 数据 文件 
用 户 经 常会 犯错 误 ， 没 有 先 锁 定数 据 库 就 去 复制 数据 文件 或 制作 快照 。 在 禁用 Journaling 
日 志 时 ， 这 会 造成 数据 文件 损坏 。 在 开启 Journaling 日 志 时 ， 制 作 快 照 没 问题 ， 但 复制 数据 文 
件 有 点 麻烦 ， 容 易 发 生 状 况 。 
因此 ， 无 论 是 否 开 启 了 Journaling 日 志 ， 本 书 建议 总 是 在 复制 数据 文件 或 制作 磁盘 快照 前 
锁定 数据 库 。 比 起 锁定 数据 库 所 带 来 的 安宁 和 对 文件 完整 性 的 保障 , 由 此 引发 的 轻微 延 时 是 值 
得 的 。 





复制 数据 文件 ， 先 要 确认 它们 都 处 于 一 致 状态 ,为 此 可 以 关闭 数据 库 或 是 锁定 它 。 由 于 关闭 
数据 库 在 一 些 部 羞 情况 下 太 厅 烦 了 , 所 以 大 多 数 用 户 都 选择 进行 锁定 。 以 下 是 用 来 同步 并 锁定 数 
据 库 的 命令 : 


> use admin 





> db.runCommand ({fsync: 1, lock: true}) 





J 举 个 例子 ， 采 用 这 种 策略 会 保留 全 部 的 索引 一 一 无 需 在 还 原 时 重建 索引 。 10 
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此 时 ,数据 库 是 写 锁 定 的 ,数据 文件 都 同步 到 了 磁盘 上 ,， 也 就 是 次 可 以 安全 地 复制 数据 文件 
了 了。 如 采 正 运行 在 一 个 文 持 快照 的 文件 系统 或 存储 系统 上 , 最 好 先 制作 一 个 快照 , 以 后 再 做 复制 ， 
这 能 让 你 快 点 解锁 。 

如 打 无 法 制作 快照 , 就 必须 在 复制 数据 文件 时 让 数据 库 保持 在 锁定 状态 。 如 来 是 从 一 个 从 市 
点 复制 数据 文件 ， 请 确保 该 节点 仍 连 春 主 节 点 ， 并 有 足够 的 oplog 让 它 在 备份 期 间 保持 离线 状态 。 


一 旦 完成 快照 或 者 备份 ， 就 可 以 解锁 数据 库 了 。 看 似 神 秘 的 解锁 命令 是 这 样 的 : 
> db.scmd.sys.unlock.findone!() 
ST Teoko 1 "infteo" "nlock reouecsted} 





请 注意 ,这 仅仅 是 请 求解 锁 ， 数 据 库 可 能 不 会 立刻 解锁 ， 可 以 运行 ab. currentop () 方 法 验 
证 数据 库 是 否 已 经 解锁 。 


10.3.2” 压 紧 与 修复 
MongoDB 包 含 了 修复 数据 库 的 功能 ， 可 以 通过 命令 行 触发 修复 服务 器 上 的 所 有 数据 库 : 


$s mongod --repair 


也 可 以 运行 TzepairDatabase 命 令 修复 单个 数据 库 : 


> use cloud-docs 
> db.runCommand ({repairDatabase: 1}) 


修复 是 个 离线 操作 ,在 执行 时 , 数据 库 的 读 写 都 将 被 锁定 。 修复 就 是 读 取 和 重 写 所 有 数据 文 
件 并 重建 各 个 索引 , 在 此 过 程 中 丢弃 掉 损 坏 的 文档 。 也 就 是 说 要 修复 数据 库 ， 需 要 有 足够 的 空余 
傍 盘 空间 来 存储 重 写 的 数据 。 要 说 修复 的 开销 很 大 ， 那 还 是 轻 的 ， 修 复 大 型 数据 库 能 花 好 几 天 。 

MongoDB 的 修复 最 初 是 用 作 恢 复 受 损 数据 库 的 最 后 一 道 防 线 。 在 未 正常 关闭 ， 又 没有 开局 
Journaling 日 志 时 ， 修 复 是 让 数据 文件 回 到 一 致 状态 的 唯一 途径 。 和 幸运 的 是 ， 如 末 部 署 时 使 用 了 
复制 ， 至 少 有 一 人 台 机 需 开 局 了 Journaling 日 志 ， 并 且 进 行 日 帝 线 下 备份 ， 你 应 该 永远 也 用 不 上 执 
行 修复 的 恢复 功能 。 依 靠 修 复 来 进行 恢复 是 种 思 泰 的 做 法 ， 应 尽量 避免 这 么 做 。 

那么 数据 库 修 复 又 有 什么 好 处 呢 ?” 运 行 修复 能 压 紧 数 据 文件 并 重建 索引 。 上 自 v2.0 版 本 起 ， 
MongoDB 对 数据 文件 压 紧 并 没有 太 好 的 文 持 ， 因 此 如 采 执 行 了 很 多 随机 删除 ， 尤 其 是 删除 小 文 
档 (小 于 4 KB )， 那 么 总 存储 大 小 可 能 仍然 保持 不 变 黄 至 是 继续 增长 。 压 紧 数 据 文件 能 有 效应 对 
此 类 对 空间 的 过 度 使 用 。 

要 是 没有 时 间或 资源 执行 完整 的 修复 ， 还 有 两 个 选择 ， 它 们 都 是 针对 单个 集合 进行 操作 的 : 
可 以 重建 索引 或 是 压 紧 集合 。 要 重建 和 索引， 可 以 使 用 reInqaex ( ) 方 法 : 


> Use cloud-docs 






































> db.spreadsheets.reIndex() 

这 招 很 管用 , 但 一 般 而 言 , 索引 空间 是 能 高 效 重用 的 ; 数据 文件 空间 才 是 问题 。 所 以 compact 
命令 通常 是 更 好 的 选择 -compact 会 重 写 数据 文件 ,并 重建 集合 的 全 部 索引 。 下 面 展 示 如 何在 Shell 

行 


~ 
运 

















compact 命 令 : 


二 


> qdqb .runcommamnd ({ compact: "spreadsheets" }) 


10.4 性 能 调 优 205 





该 命令 的 初 是 在 运行 中 的 从 节点 上 压 紧 , 以 此 避免 停机 时 间 。 一 旦 完成 副本 集中 所 有 从 节 
点 的 压 紧 ， 可 以 降级 主 节点 ， 再 对 它 进行 压 紧 。 如 果 必 须 在 主 节 点 上 运行 compact 命 令 ， 可 以 癌 
命令 键 中 添加 {force: true}。 请 注意 ， 如 果 选 择 这 种 方式 ， 该 命令 会 对 系统 进行 写 锁 定 : 


true }) 





> db.runCommand({ compact: "spreadsheets", force: 


10.3.3 ”升级 


MongoDB 还 是 一 个 相对 比较 “年 轻 ” 的 项 日 ， 这 意味 着 它 的 新 版 本 中 一 般 都 包含 很 多 重要 
的 补丁 和 性 能 改进 。 出 于 这 些 原 因 ， 你 应 该 尽 可 能 运行 最 新 的 稳定 版 本 。 至 少 到 v2.0 为 止 ， 升级 
的 过 程 就 是 简单 地 关闭 老 的 mongod 进 程 , 用 老 的 数据 文件 启动 新 的 mongod 进 程 。 MongoDB 的 后 
续 版 本 可 能 会 对 索引 和 数据 文件 格式 做 些小 的 改变 , 这 可 能 会 让 升级 过 程 稍微 烦琐 一 点 。 请 查看 
最 新 的 发 布 说 明 以 了 解 正确 的 推荐 做 法 。 

当然 ， 在 升级 MongoDB 时 ， 可 能 会 要 升级 副本 集 集 群 ， 这 种 情况 下 ， 第 规 的 生 略 是 一 次 升 
级 一 个 万 点 ， 先 从 从 和 点 开始 。 
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最 后 这 一 他 里 ， 我 会 扣 儿 个 与 诊断 和 解决 性 能 问题 相关 的 内 容 。 

大 多 数 MongoDB 的 性 能 问题 都 能 奶 济 到 一 个 源头 : 人 硬盘。 本 质 上 来 看 ， 对 人 磁盘 施加 的 压力 
越 大 ，MongoDB 就 运行 得 越 慢 ， 因 此 大 多 数 性 能 优化 的 目标 束 是 减少 对 磁盘 的 依赖 。 有 多 种 方 
式 能 达到 这 个 目标 , 但 在 我 们 深入 了 解 它们 之 前 ,和 完了 解 如 何 弄 清 磁 盘 性 能 还 是 很 有 必要 的 。 在 
Unix 类 系统 上 ，iostat 就 是 一 丈 理 想 的 工具 。 以 下 示例 中 , 我 通过 -x 选项 显示 扩展 统计 信息 ，2 
说 明 以 2 s 为 间隔 进行 显示 : “ 

















S iostat -x 2 

Device: rsec/s WSEeEC/s avgrdq-szZ avggqu-sz await svctm %util 
sdb 0.00 31010512 10.09 32583” T01539 T1340 "2909.36 
Device: rsec/s WSEeEC/s avgrdq-szZ avggqu-sz await svctm %util 
sdb 0.00 2933.93 9.87 2357 0] S23 T4770 3 42313 





想 要 详细 了 解 每 一 个 字段 的 含义 ， 请 查看 系统 的 man 页 面 。 要 快速 诊断 问题 ， 你 会 对 最 后 三 
列 最 感 兴趣 。await 以 毫秒 为 单位 ， 标 明了 处 理 IO 请 求 的 平均 时 间 ， 该 平均 值 包含 了 IO 队列 里 
的 时 间 和 实际 处 理 VO 请 求 的 时 间 。svctime 标 明了 处 理 请 求 所 花费 的 平均 时 间 。%util 则 是 CPU 
用 来 处 理 磁 盘 IO 请 求 所 耗 时 间 的 百分比 。 

之 前 的 iostat 片 段 显 示 了 一 个 中 等 程度 的 磁盘 占用 情况 。LIO 的 平均 等 待 时 间 大 约 是 100 ms 
(提示 : 这 已 经 不 少 了 ! )， 平 均 处 理 时 间 大 约 是 1 ms， 利 用 率 大 约 是 30%。 如 果 查 看 该 机 上 的 
MongoDB 日 志 ， 你 能 看 到 很 多 慢 操 作 ( 查询 、 插 入 或 其 他 操作 )。 事 实 上 ， 正 是 那些 慢 操作 最 早 
让 你 对 湾 在 的 问题 有 所 警觉 。iostat 的 输出 能 大助 你 确认 问题 。 请 注意 ，MongoDB 系 统 的 磁盘 























OQ 注意 ， 该 示例 是 针对 Linux 的 ; 在 Mac OS XF 上 ， 对 应 命令 是 iostat -w 2。 
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利用 率 达 到 100% 是 很 常见 的 ; 虽然 仅 由 MongoDB 的 问题 造成 磁盘 利用 率 高 的 情况 很 少 ， 但 这 些 
用 户 还 是 党 得 被 MongoDB 折 腾 得 够 喧 。 在 后 续 的 五 个 小 节 里 ， 我 会 给 出 一 些 优化 数据 库 操作 、 
减轻 磁盘 负载 的 方法 。 


10.4.1 为 提升 性 能 检查 索引 和 查询 


发 现 性 能 问题 时 ,应 该 首先 检查 索引 。 这 里 假设 应 用 程序 会 发 起 查询 和 更 新 ,它们 是 使 用 索 
引 的 主要 操作 。 "第 7 章 大 致 罗列 了 识别 并 修复 慢 操作 的 步骤 ; 其 中 涉及 开启 查询 剖析 器 ， 随 后 确 
保 每 个 查询 与 更 新 都 能 有 效 利 用 索引 。 总 的 来 说 ， 这 意味 着 每 个 操作 要 扫描 尽 可 能 少 的 文档 。 

保证 没有 见 余 的 索 引 也 同样 重要 ， 因 为 元 余 索 引 会 占用 磁盘 空间 、 消 耗 更 多 内 存 , 在 每 次 写 
入 时 还 需要 做 更 多 工作 。 第 7 章 中 有 消除 此 类 元 余 索 引 的 方法 。 

然后 呢 ? 在 审视 了 索引 和 碍 询 之 后 ， 你 会 发 现 效 座 低下 的 部 分 ， 把 性 能 问题 一 起 修正 掉 。 日 
志 里 再 也 看 不 到 慢 碍 询 和 警告 ，iostat 的 输出 也 显示 利用 率 下 降 了 。 调 整 索引 在 修正 性 能 问题 
方面 的 效果 比 你 想 的 要 好 ; 在 发 现 性 能 问题 时 ， 有 索引 应 该 是 你 站 和 完 检 查 的 地 方 。 


10.4.2 ”添加 内 存 


修改 索引 并 非 总 是 有 效 , 也许 你 已 经 有 了 最 优化 的 查询 ， 有 了 完美 的 索引 , 但 是 磁盘 利用 率 
还 是 居 高 不 下 。 此 时 , 你 应 该 看 看 索引 尺寸 和 工作 集 对 物理 内 存 的 比例 。 在 应 用 程序 所 用 到 的 每 
个 数据 库 上 运行 stats () 命令: 

> Use app 


> Qb.stats ( ) 
{ 





















































ee 
aollectroner .So., 
"objects" : 3932487, 
"avgObjSize" : 543.012, 
"dataSize" : 2135390324， 
"storageSize" : 2419106304， 
"mumeExtentes” ,385 
"indexes" : 4, 
"indexSize" : 226608064, 
"fileSize" : 6373244928,， 
"nsSsizeMB" : 16, 

wel el 


} 

现在 看 一 下 数据 和 索引 的 大 小 ， 数 据 大 小 刚 超 过 2 GB， 索引 大 小 大 约 是 230 MB。 假 设 工作 
集 包 含 了 系统 中 的 全 部 数据 , 那么 机 需 上 至 少 要 有 3 GB 内 存 才 能 避免 频繁 访问 磁盘 。 要 是 这 台 机 
人 妖 只 有 1.5 GB 内 存 ， 那 你 就 只 能 眼睁睁 看 着 磁盘 利用 率 居 高 不 下 了 。 

在 查看 数据 库 统 计 信 息 时 , 还 要 注意 aataSsize 和 storageSize 之 间 的 区 别 。 当 storageSize 














QD 某 些 数据 库 命 令 ， 比 如 count ， 同 样 也 会 使 用 索引 。 
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超过 aatasize 两 倍 以 上 时 ， 就 会 因 磁盘 碎片 而 影 响 性 能 。 这 些 碎 户 会 迫使 服务 融 使 用 更 多 的 内 
存 ; 遇 到 这 种 情况 ,在 添加 更 多 的 内 存 之 前 ， 应 该 移 答 试 压 紧 数 据 文 件 。 请 碍 看 本 章 之 前 与 压 双 
有 关 的 内 容 ， 了 解 如 何 进行 压 紧 。 











10.4.3 ”提升 磁盘 性 能 


添加 内 存 的 方法 也 有 一 些 问题 。 首 先 ， 并 非 总 能 添加 内 存 ， 例 如 ， 你 正在 使 用 EC2， 虚 拟 机 
的 最 大 可 用 内 存 上 限 就 是 68 GB。 其 次 ,添加 内 存 并 非 总 能 解决 IO 问题 。 举 例 来 说 ， 如 采 应 用 程 
序 是 写 密 集 型 的 , 后台 的 刷新 或 者 癌 内 存 加 载 新 数据 分 页 依然 会 压 夫 你 的 磁盘 。 所 以 说 ， 如 有 末 有 
了 高 效 的 索引 和 充足 的 内 存 ， 但 还 是 觉得 磁盘 IO 缓慢 ， 就 该 想 想 提升 磁盘 性 能 

提升 磁盘 性 能 有 两 种 方法 。 一 种 是 购买 更 快 的 磁盘 , 买 块 13KRPM 的 人 硬盘 或 者 SSD 还 算是 笔 
划算 的 投入 。 除 此 之 外 ， 把 磁盘 配置 成 RAID 阵 列 ， 也 能 够 提升 读 写 的 否 吐 量 ， 这 种 方式 也 可 以 
作为 前 者 的 补充 。" 如 果 配 置 得 当 ，RAID 阵 列 也 许可 以 解决 WO 瓶 倾 。 正 如 之 前 所 说 的 那样 ,在 
EBS 卷 上 运行 RAID 10 能 显著 提升 读 取 的 否 吐 量 。 


10.4.4 水平 扩展 


在 解决 性 能 问题 时 ,下 一 步 就 该 用 到 水 平 扩展 了 。 你 有 两 条 路 可 选 。 如 果 应 用 程序 是 读 密 集 
型 的 , 单个 节点 可 能 无 法 应 对 所 有 查询 ,即使 内 存 中 是 优化 后 的 索引 和 数据 。 这 时 可 以 让 读 操 作 
分 布 在 各 个 副本 上 。 官 方 的 MongoDB 驱 动 支 持 跨 副本 集成 员 进 行 操作 ， 在 逐步 提升 到 分 片 集群 
前 ， 这 个 打上 略 值得 一 试 。 

当 所 有 其 他 手段 都 无 效 之 时 , 就 得 进行 分 请 了 。 满足 以 下 条 件 时 , 你 就 应 该 转向 分 片 集群 了 : 

口 无 法 将 工作 集 完整 加 载 到 任意 一 合 机 货 的 物理 内 存 里 ; 

口 对 任意 服务 天 而 言 ， 写 负载 太 密集 了 。 

有 要 是 在 配置 了 分 片 集群 之 后 ,还 是 存在 性 能 问题 ， 那 你 就 该 回 过 头 去 ， 硝 保 所 有 有 索引 壬 经 过 
了 优化 、 数 据 午 在 内 存 里 ， 并 且 磁 盘 性 能 恨 好 。 要 获得 最 佳 的 便 件 利用 率 ， 你 可 能 需要 添加 更 多 


分 片 。 
10.4.5 “局 求 专业 帮助 


造成 性 能 下 降 的 原因 多 种 多 样 , 并 且 经 稼 很 奇特 。 从 糟糕 的 Schema 设计 到 诡异 的 服务 融 缺 陷 
都 能 有 影响 性 能 。 如 来 在 尝试 了 各 种 可 能 的 办 法 之 后 ,仍然 无 法 解决 问题 ， 你 应 该 考虑 让 对 
MongoDB 更 有 经 验 的 人 士 来 检查 你 的 系统 。 一 本 书 的 作用 有 限 ,但 是 经 验 丰 宦 的 专业 人 士 所 发 
挥 的 作用 就 大 不 相同 了 。 当 你 不 知 所 措 或 者 心 存疑 虑 时 , 请 寻求 专业 帮助 。 性 能 问题 的 解决 方案 
有 时 完全 是 凭 下 觉 的 。 













































































Q) RAID 还 有 另 一 个 好 处 ， 即 在 恰当 的 RAID 级 别 下 ， 能 够 获得 磁盘 宛 余 。 
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10.5 小结 


本 章 讲述 了 在 生产 环境 部 署 MongoDB 时 最 重要 的 一 些 考量 点 。 你 现在 应 该 已 经 有 了 足够 的 
知识 选择 合适 的 便 件 、 监 控 系 统 运行 并 进行 日 第 备份 。 此 外 ,你 还 了 解 了 如 何 解 决 性 能 问题 。 最 
终 ， 这 些 知 识 都 会 随 春 经 验 一 同 成 长 。 除 了 那些 无 法 预见 的 情况， 我 相信 MongoDB 经 得 起 本 章 
讲 到 的 这 些 问 题 的 考验 。MongoDB 努 力 让 生活 更 简单 ， 但 是 数据 库 和 它们 与 应 用 程序 的 交互 实 
在 是 太 复 杂 了 。 要 是 本 书 的 建议 没 能 考 效 ， 知 识 渊 博 的 专家 一 定 对 你 大 有 帮助 。 























在 附录 A 中 ， 你 将 了 解 到 如 何在 Linux、Mac OS 久 和 Windows 上 安装 MongoDB， 对 常用 的 配 
置 选 项 有 个 大 概 的 认识 。 人 针对 开发 者 ， 会 有 一 些 从 源 代码 编译 MongoDB 的 说 明 。 

结尾 时 我 会 人 镜 述 Ruby 和 RubyGems 的 安装 ， 这 能 对 希望 运行 书 中 那些 Ruby 示 例 的 读者 有 所 
帮助 。 








A.1 安装 


在 给 出 安装 指南 之 前 ， 先 说 明 一 下 MongoDB 的 版 本 号 。 简 而 言 之 ， 你 应 该 运行 最 新 的 稳定 
版 本 。MongoDB 的 稳定 版 用 偶数 次 版 本 号 来 标记 ， 因 此 : 1.8、2.0 和 2.2 这 些 版 本 是 稳定 版 ，1.9 
和 2.1 是 开发 版 , 不 应 该 使 用 在 生产 环境 里 。http:/mongodb.org 上 的 下 载 页 面 提 供 了 针对 32 位 和 64 
位 系统 编译 的 静态 链接 二 进 制 包 ,其 中 可 以 找到 最 新 的 稳定 版 本 、 开 发 分 文 以 及 最 新 修改 的 每 日 
构建 版 本 。 在 大 多 数 平 台 上 ,这 些 二 进 制 包 是 安装 MongoDB 的 最 简单 途径 ， 包 括 Linux、Mac OS 
X、Windows 和 Solaris， 这 也 是 我 们 所 推 当 的 安装 方法 。 




















A.1.1 在 Linux 上 安装 MongoDB 


有 三 种 方式 在 Linux 上 安 猴 MongoDB , 你 可 以 从 mongodb.org 网 站 直接 下 载 预先 编 详 好 的 二 进 
制 包 、 使 用 包 管 理 融 或 者 是 用 源 代 但 手动 编译 。 随 后 的 小 节 中 我 们 会 讨论 头 两 种 方法 ， 随 后 再 提 
供 一 些 编 详 相关 的 说 明 。 

1. 使 用 预 编译 的 二 进 制 包 进行 安装 

先 访问 http:/www.mongodb.org/downloads ， 你 能 看 到 所 有 可 供 下 载 的 最 新 MongoDB 二 进 制 
包 , 选择 适用 于 你 系统 的 最 新 稳定 版 本 的 下 载 URL。 以 下 示例 使 用 针对 64 位 系统 编译 的 MongoDB 
V2.08 

使 用 浏览 各 或 curl 工 具 下 载 压缩 包 ， 随 后 通过 tar 人 解压 : 


Ss curl http://downloads.mongodb.org/l1inux/mongodb-linux-x86_64-2.0.0.tgz 








> mongo.tgz 
$ tar -xzZVvf mongo.tgz 


要 运行 MongoDB， 你 需要 一 个 数据 目录 。mongod 守 护 进 程 默 认 会 把 它 的 数据 文件 保存 在 
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/data/db 之 中 。 创 建 该 日 录 ， 确保 它 有 合适 的 权限 : 


$ sudo mkdir -p /data/db/ 
S sudo chown ‘id -u /data/db 


你 已 经 可 以 局 动 服务 角 了 了 ， 切 换 到 MongoDB 的 bin 目 录 ， 运 行 nongod 可 执行 文件 : 

cd mondodqpb-1Inux-X86 64-2.0.0/bln 

. /mongod 

要 是 一 切 顺利 , 应 该 可 以 看 到 一 些 和 以 下 局 动 日 志 ( 经 删 减 ) 类似 的 东西 ,请 注意 最 后 几 行 ， 
确认 服务 硕 正 监听 默认 的 27017 病 口 : 

Thu Mar 10 11:28:51 [initandlisten]|] MongoDB starting : 


Pid=1773 port=27017 dbpath=/data/db/ 64-bit 
Thu Mar 10 11:28:51 [initandlisten] db version v2.0.0, pdfile version 4.5 

















Thu Mar 10 11:28:51 [initandlisten] waiting for connections on port 27017 
Thu Mar 10 11:28:51 [websvr] web admin interface listening on port 28017 


如 采 服 务 右 意外 终止 ， 请 阅读 A.5 广 。 

2. 使 用 包 管 理 器 

包 管 理 需 能 极 大 简化 MongoDB 的 安装 ， 唯 一 的 主要 劣势 是 包 维 护 方 可 能 无 法 始终 跟 上 最 新 
的 MongoDB 版 本 。 运 行 最 新 的 稳定 版 本 是 很 重要 的 ， 因 此 如 果 选 择 使 用 包 管 理 硕 进行 安装 ， 请 
确保 正在 安装 的 MongoDB 是 最 近 的 版 本 。 

如 果 恰 巧 运行 在 Debian、Ubuntu、CentOS 或 Fedora 上 ,那么 始终 可 以 安装 最 新 版 本 ,因为 10gen 
为 这 些 平台 维护 并 发 布 自己 的 包 。 在 mongodb.org 网 站 上 可 以 找到 安装 这 些 特殊 包 的 更 多 信息 。 
在 http://mng.bz/ZffG 可 以 找到 针对 Debian 和 Ubuntu 的 指南 ; 至 于 CentOS 和 Fedora ， 请 访问 
http://mng.bz/JS]C。 

同样 也 有 用 于 FreeBSD 和 ArchLinux 的 包 ， 请 查看 它们 对 应 的 包 仓 库 。 




















A.1.2 在 Mac OS X 上 安装 MongoDB 


在 Mac OS X 上 安装 MongoDB 有 三 种 方式 , 你 可 以 耳 接 从 mongodb.org 网 站 下 载 预 编译 的 二 进 
制 包 、 使 用 包 管 理 絮 ,或 者 从 源 代 码 手工 编译 。 随 后 的 小 市 中 我 们 会 讨论 前 两 种 方式 ， 随 后 再 提 
供 一 些 编译 相关 的 说 明 。 

1. 预 编译 的 二 进 制 包 

先 访问 http://www.mongodb.org/downloads ， 你 能 看 到 所 有 可 供 下 载 的 最 新 MongoDB 二 进 制 
包 , 选择 适用 于 你 系统 的 最 新 稳定 版 本 的 下 载 URL。 以 下 示例 使 用 针对 64 位 系统 编译 的 MongoDB 
V2:0s 

使 用 浏览 磊 或 curl 工 具 下 载 压缩 包 ， 随 后 通过 tar 人 解压: 


$ curl http://downloads.mongodb.org/osx/mongodb-osx-x86_64-2.0.0.tgz > 
mongo .七 GZ 
S$ tar xzf mongo.tgz 


要 运行 MongoDB ， 你 需要 一 个 数据 目录 。mongoa 守 护 进程 默认 会 把 它 的 数据 文件 保存 在 
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/data/db 之 中 。 创 建 该 目录 : 

S mkdir -p /data/db/ 

你 已 经 可 以 启动 服务 天 了 ， 切 换 到 MongoDB 的 bin 目 录 ， 运 行 nongod 可 执行 文件 : 

$ cd mongodb-osx-x86_64-2.0.0/bin 

$ ./mongod 

要 是 一 切 顺 利 ， 你 应 该 可 以 看 到 一 些 和 以 下 启动 日 志 ( 经 删 减 ) 类 似 的 东西 。 请 注意 最 后 几 
行 ， 确 认 服 务 右 正 监 听 默 认 的 27017 珊 口 : 

TM 


Pid=1773 port=27017 dbpath=/data/db/ 64-bit 
Thu Mar 10 11:28:51 [initandlisten] db version Vv2.0.0, pdfile version 4.5 











Thu Mar 10 11:28:51 [initandlisten] waiting for connections on port 27017 
Thu Mar 10 11:28:51 [websvr] web admin interface listening on port 28017 


如 采 服 务 硕 意外 终止 ， 请 阅 旋 A.5ST。 

2. 使 用 包 管 理 器 

包 管 理 需 能 极 大 简化 MongoDB 的 安 痛 ， 唯 一 的 主要 劣势 是 包 维 护 方 可 能 无 法 始终 跟 上 最 新 
的 MongoDB 有 版 本 。 运 行 最 新 的 稳定 版 本 是 很 重要 的 ， 因 此 如 有 果 选 择 使 用 包 管 理 器 进行 安装 ， 请 
确保 正在 安装 的 MongoDB 是 最 近 的 版 本 。 

已 知 有 两 个 Mac OS XX 的 包 管 理 帮 在 维护 最 新 版 本 的 MongoDB，, 分 别 是 MacPorts ( http://www. 
macports.org ) 和 Homebrew ( http://mxcl.github.com/homebrew/ )。 要 通过 MacPorts 进 行 安 站 ， 运 行 
如 下 命令 : 

sudo port install mongodb 

请 注意 ，MacPorts 会 从 头 开 始 构 建 MongoDB 及 其 所 有 依赖 ， 如 果 选 择 这 种 方式 ,要 做 好 心理 
准备 ， 因 为 编译 过 程 会 很 长 。 

与 编译 方式 不 同 ，Homebrew 仅 仅 是 下 载 最 新 的 二 进 制 包 ， 因 此 速度 会 比 MacPorts 快 很 多 。 
可 以 通过 以 下 命令 从 Homebrew 安 装 MongoDB: 


S brew update 
S brew install mongodb 


安 疙 完成 后 ，Homebrew 会 提供 一 份 指责 ， 告 诉 你 如 何 使 用 Mac OS X 的 Launch Agent 来 局 动 
MongoDB。 























A.1.3 在 Windows 上 安装 MongoDB 


在 Windows 上 安装 MongoDB 有 两 种 方式 。 比 较 人 简单 的 一 种 ， 也 是 推荐 的 方式 ， 是 了 直接 从 
mongodb.org 网 站 上 下 载 预 编译 的 二 进 制 包 。 你 也 可 以 从 源 代码 进行 编译 ,但 这 种 做 法 只 推荐 给 
开发 者 和 高 级 用 户 。 下 一 节 里 可 以 看 到 与 源 代码 编译 相关 的 内 容 。 

预 编译 二 进 制 包 

先 访问 http:/www.mongodb.org/downloads ， 你 能 看 到 所 有 可 供 下 载 的 最 新 MongoDB 二 进 制 
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包 ， 选 择 适 用 于 你 系统 的 最 新 稳定 版 本 的 下 载 URL。 这 里 我 们 将 安装 针对 64 位 Windows 编 译 的 
MongoDB v2.0. 

下 载 合 适 的 发 行 包 ， 然 后 进行 解压 。 可 以 在 Windows Explorer 里 找到 MongoDB 的 .zip 文 件 ， 
右 击 后 选择 Extract All...， 然 后 就 能 选择 用 于 解压 内 容 的 文件 夹 了 了。 

此 外 ， 也 可 以 使 用 命令 行 。 先 进入 Downloads 目 录 ， 使 用 unzip 工 具 来 进行 解压 : 


C:\> cd \Users\kyle\Downloads 
C:\> unzip mongodb-win32-x86_64-2.0.0.zZip 


想 运 行 MongoDB ， 你 需要 一 个 数据 目录 。mongogd 守 护 进 程 默 认 会 把 它 的 数据 文件 保存 在 
Ci\data\db 之 中 。 打 开 Windows 的 命令 提示 符 ， 用 如 下 方式 创建 文件 夹 : 

C:\> mkdir \data 

C:\> mkdir \data\db 

你 已 经 可 以 局 动 服务 名 了， 切换 到 MongoDB 的 bin 目 录 ， 运 行 nongod 可 执行 文件 : 


C:\> cd \Users\kyle\Downloads 
C:\Users\kyle\Downloads> cd mongodb-win32-x86_64-2.0.0\bin 
C:\Users\kyle\Downloads\mongodb-win32-x86_64-2.0.0\bin> mongod.exe 


要 是 一 切 顺 利 ， 你 应 该 可 以 看 到 一 些 和 以 下 启动 日 志 ( 经 删 减 ) 类 似 的 东西 。 请 注意 最 后 几 
行 ， 确 认 服 务 融 正 监听 默认 的 27017 端 口 : 


Thu Mar 10 11:28:51 [initandlisten]|] MongoDB starting : 
Pid=1773 port=27017 dbpath=/data/db/ 64-bit 
Thu Mar 10 11:28:51 [initandlisten] db version v2.0.0, pdfile version 4.5 




















Thu Mar 10 11:28:51 [initandlisten] waiting for connections on port 27017 
Thu Mar 10 11:28:51 [websvr] web admin interface listening on port 28017 


如 采 服 务 需 意外 终止 ， 请 阅读 A.5 节 。 
最 后 ， 你 要 启动 MongoDB Shell。 为 此 ， 打 开 第 二 个 终端 窗口 ， 然 后 执行 mongo.exe。 


C:\> cd \Users\kyle\Downloads\mongodb-win32-x86_64-2.0.0\bin 
C:\Users\kyle\Downloads\mongodb-win32-x86_64-2.0.0\bin> mongo.exe 





A.1.4 ”从 源 代码 进行 编译 


从 源 代码 编 译 MongoDB， 只 推荐 给 高 级 用 户 和 开发 者 采用 。 如 果 你 只 是 想 用 用 最 新 的 东西 ， 
不 用 自己 编译 ， 可 以 从 mongodb.org 网 站 上 下 载 最 新 修改 的 每 日 构建 二 进 制 包 。 

你 可 能 想 要 目 己 编译 MongoDB， 其 中 最 找 烦 的 部 分 是 演 理 众多 依赖 ， 包 插 Boost、 
SpiderMonkey 和 PCRE。 可 以 在 http:/www.mongodb.org/display/DOCS/Building 找 到 各 个 平台 的 最 
新 编 详 指责。 

















A.1.5 问题 处 理 


虽然 MongoDB 易 于 安装 ， 但 用 户 偶 尔 还 是 会 遇 到 一 些小 问题 ， 通 筑 表现 为 司 动 mnongod 和 守护 
进程 时 出 现 的 错误 消息 。 这 里 我 会 提供 一 份 帝 见 错误 消息 和 解决 方法 的 列表 。 
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1. 错误 的 架构 
如 有 果 试 着 在 32 位 的 机 各 上 运行 针对 64 位 系统 编译 的 二 进 制 包 ， 会 看 到 如 下 错误: 
-bash: ./mongod: cannot execute binary file 


Windows 7 上 的 消息 更 有 帮助 一 些 : 


This version of 
C:\Users\kyle\Downloads\mongodb-win32-x86_64-1.7.4\bin\mongod.exe 
is not compatible with the version of Windows you're running. 








Check your computer's system information to see whether you need 
a x86 (32-bit) or x64 (64-bit) version of the program, and then 
contact the software publisher. 


解决 方法 是 下 载 并 运行 32 位 的 二 进 制 包 ， 在 MongoDB 的 下 载 站 点 (http:// www.mongodb.org/ 


downloads ) 上 能 找到 适用 于 这 两 种 淋 构 的 二 进 制 包 。 


限 。 


束 朋 


2. 数据 目录 不 存在 

MongoDB 要 有 一 个 用 于 存放 数据 文件 的 目录 。 如 果 该 目录 不 存在 ， 你 会 看 到 如 下 错误 : 
dbpath (/data/db/) does not exist, terminating 

解决 方法 就 是 创建 该 目录 ， 查 看 前 文 的 指南 就 能 知道 在 你 的 操作 系统 上 该 怎么 做 了 。 

3. 权限 不 足 

如 果 正 运行 在 Unix 类 的 系统 上 ， 需 要 确保 运行 nongod 可 执行 文件 的 用 户 有 写 数据 目录 的 权 
不 然 就 会 看 到 这 样 的 错误 : 

Permission denied: "/data/db/mongod.1lock", terminating 

也 可 能 是 这 样 的 错误 : 

Unable to acauire lock for lockfilepath: /data/db/mongod.lock, terminating 

这 两 种 情况 下 ， 都 可 以 通过 chmod 或 cnown 开 启 数 据 目 录 的 权限 ， 以 此 解决 问题 。 

4. 无 法 绑 定 端口 

MongoDB 默 认 运 行 在 27017 端 口 ， 如 果 其 他 进程 或 是 男 一 个 mongod 绑 定 了 该 端口 ， 那 么 你 
看 到 这 个 错误 : 


listen(): bind() failed errno:98 
Address already in use for socket: 0.0.0.0:27017 


有 两 种 可 行 的 解决 方法 。 第 一 ， 找 到 运行 于 27017 端 口 的 其 他 进程 ， 将 其 终止 。 此 外 ， 可 以 

















通过 --port 标 志 让 mongod 运 行 在 男 一 个 端口 上 。 以 下 展示 如 何 让 MongoDB 运 行 在 27018 端 口 : 


mongod --port 27018 


A.2 基本 配置 选项 








本 市 我 会 傈 单 介绍 运行 MongoDB 时 几 个 最 备用 的 标志 。 
口 --dbpath 指 问 存 放 数 据 文件 的 日 录 路 往 ， 默 认 是 /data/db。 
口 --logpath 指向 日 志 输 出 文件 的 路 径 。 日 志 默 认 会 输出 在 标准 输出 (stdqout ) 里 。 
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口 --port MongoDB 监 昕 的 端口 ; 如 果 没 有 指定 ， 则 设置 为 27017。 

口 --rest 该 标志 将 开局 简单 REST 接 口 ， 增 强 服 务 硕 的 默认 Web 控 制 台 。Web 控 制 合 总 是 
运行 在 服务 磊 监 听 端 口 之 上 的 第 1000 个 闪 口 。 因 此 ， 如 果 服 务 亏 在 监听 localhost 的 
27017 端 口 ， 那 么 Web 控 制 台 束 在 http://localhost:28017/。 请 花 些 时 间 人 研究 Web 控 制 台 及 其 
发 布 的 命令 ， 因 为 你 能 从 中 发 现 不 少 线 上 MongoDB 服 务 需 的 信息 。 

口 --fork 让 进 程 以 守护 进程 方式 运行 。 请 注意 ，fork 只 能 用 在 Unix 类 的 系统 上 。 需 要 类 
似 功能 的 Windows 用 户 请 查看 指南 ， 了 解 如 何以 Windows 服 务 的 方式 运行 MongoDB。 可 以 
在 mongodb.org 找 到 这 些 指南 。 

那些 都 是 最 重要 的 MongoDB 启 动 标志 ， 以 下 是 在 命令 行 中 使 用 它们 的 例子 : 


S mongod --dbpath /var/local/mongodb --logpath /var/log/mongodb.1log 
=—PDOrt 27018 ——rest ~=fork 


请 注意 ， 你 也 可 以 在 一 个 配置 文件 中 指定 全 部 这 些 选 项 。 创 建 一 个 新 的 文本 文件 〈 称 为 
mongodb.conf )， 内 容 如 下 : 


dbpath=/var/local/mongodb 
logpath=/var/log/mongodb.1log 
Port=27018 

rest=true 

fork=true 


在 调用 mongod 时 ， 通 过 -f 选 项 来 使 用 配置 文件 : 

$ mongod -f mongodb.conf 

如 有 果 连 接 上 了 一 个 MongoDB 服 务 右 , 想 知 道 启动 时 用 了 哪些 选项 ,可 以 运行 get CcmdLineOpts 
命令 获得 一 份 局 动 选项 列表 : 


> use admin 
> db.runCommand ({getCmdLineOpts: 1}) 

















A.3 安 志 Ruby 


本 书 中 不 少 例子 都 是 用 Ruby 编 写 的 ， 为 了 能 运行 它们 ， 你 需要 安装 Ruby 环 境 。 也 就 是 说 要 
安 疫 Ruby 解 释 项 和 Ruby 包 管理 带 一 一 RubyGems-。 

你 应 该 使 用 版 本 号 大 于 等 于 1.8.7 的 Ruby。 在 本 书 编写 时 ，1.8.7 和 1.9.3 是 最 常用 的 生产 环境 
版 本 。 














A.3.1 Linux 与 Mac OS X 
Mac OS X 和 一 些 Linux 发 行 版 上 默认 装 有 Ruby。 可 以 运行 如 下 命令 检查 上 自己 是 否 装 有 最 近 版 
本 的 Ruby 解 释 人 大 : 


ruby -Vv 


如 果 找 不 到 该 命令 ， 或 者 运行 的 版 本 低 于 1.8.7， 那 你 就 该 进行 安装 或 升级 了 。 在 http://www. 
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ruby-lang.org/en/downloads/ 能 找到 详细 的 安装 指南 ， 帮 助 你 在 Mac OS X 和 一 些 Unix 类 的 系统 上 安 
装 Ruby。 大 多 数 包 管 理 器 ( 比如 MacPorts 和 Aptitude ) 也 维护 了 最 近 版 本 的 Ruby， 它 们 可 能 是 获 
得 一 个 可 用 Ruby 环 境 的 最 简单 途径 。 

除了 Ruby 解 释 器 ， 你 还 需要 Ruby 包 管理 器 RubyGems ， 用 它 来 安装 MongoDB 的 Ruby 驶 动 。 
通过 gem 命 令 来 确认 是 否 安装 了 RubyGems: 





dem =Y 
可 以 通过 包 管 理 天 来 安装 RubyGems， 但 大 多 数 用 户 会 下 载 最 新 的 版 本 ， 并 且 使 用 其 中 的 安 
装 程 序 。 在 https://rubygems.org/pages/download 可 以 找到 安装 指责。 





A.3.2 Windows 


到 目前 为 止 , 在 Windows 上 安装 Ruby 和 RubyGems 最 简单 的 途径 是 使 用 Windows Ruby Installer。 
可 以 在 http://rubyinstaller.org/downloads 找 到 安装 程序 。 当 你 运行 下 载 的 可 执行 文件 时 ， 安 装 问 导 
会 指导 你 安装 Ruby 和 RubyGems。 

除了 要 安 狼 Ruby， 你 还 要 安装 Ruby DevKit， 它 能 方便 地 编译 Ruby 的 C 扩 展 。MongoDB Ruby 
驱动 的 BSON 库 可 能 会 使 用 这 些 扩展 。 
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芭 计 模式 





B.1 模式 


里 然 不 明显 , 但 本 书 前 面 几 章 里 有 倡导 大 家 使 用 一 些 设 计 模 式 。 本 附录 中 , 我 将 总 结 那 些 模 
式 ， 再 补充 一 些 没 有 提 到 的 模式 。 


B.1.1 内 鹃 与 引用 


假设 你 在 构建 一 个 简单 的 应 用 程序 ， 用 MongoDB 保 存 博 客 的 文 草 和 评论 。 该 如 何 表 示 这 些 
数据 ?在 相应 博客 文 草 的 文档 里 内 般 评 论 ? 还 是 说 创建 两 个 集合 , 一 个 保存 文章 , 男 一 个 保存 评 
论 ， 通 过 对 象 ID 引用 来 天 联 评论 和 文章 ， 这 样 会 更 好 ? 

这 里 的 问题 是 使 用 内 瞬 文 档 还 是 引用 ， 这 第 间 会 给 MongoDB 的 新 用 户 吾 来 困扰 。 生 好 有 些 
简单 的 经 验 法 则 , 适用 于 大 多 数 Schema 设计 场景 : 当 子 对 象 总 是 出 现在 父 对 象 的 上 下 文中 时 , 使 
用 内 散文 档 ; 否则 ， 将 子 对 和 象 你 存在 单独 的 集合 里 。 

这 对 博客 的 文 草 和 评论 而 语意 味 着 什么 ?结论 取决 于 应 用 程序 。 如 来 评论 总 是 出 现在 博客 的 
文章 里 ,并且 无 需 按 照 各 种 方式 〈 根 据 发 表 日 期 、 评 论 评价 等 ) 进行 排序 ， 那么 内 骸 的 方式 会 更 
好 。 但 是 ， 如 于 说 和 希望 能 够 显示 最 新 的 评论 ， 不 管 当 前 显示 的 是 哪 篇 文章 ， 那 么 就 该 使 用 引用 。 
内 藤 的 方式 可 能 性 能 稍 好 ， 但 引用 的 方式 更 加 灵活 。 















































B.1.2 一 对 多 


正如 上 一 证 所 说 的 , 可 以 通过 内 骸 或 引用 来 表示 一 对 多 关系 。 当 多 端 对 象 本 质 上 属于 它 的 父 
对 象 晶 很 少 修改 时 ， 应 该 使 用 内 骸 。 举 个 指南 类 应 用 程序 ( how-to application ) 的 Schema 作为 例 
子 ,， 它 能 很 好 地 说 明 这 点 。 每 个 指南 中 的 步骤 都 能 表示 为 子 文档 数组 ， 因 为 这 些 步 又 是 指责 的 
有 部 分 ， 很 少 修改 : 


{ title: "How to Soft-poll an egg", 





steps: | 
{ desc: "Bring a pot of water to boil.", 
materials: ["'water", "eggs"] }, 


{ desc: "Gently adqd the eggs a cook for four minutes.", 
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materials: ["egg timer"]}, 
{ desc: "Cool the eggs under running water." }, 
] 
} 


如 果 两 个 相关 条 目 要 独立 出 现在 应 用 程序 里 ， 那 你 就 会 想 进行 关联 了 。 很 多 MongoDB 的 文 
章 都 建议 在 博客 的 文 草 里 内 瞬 评 论 ， 认 为 这 是 一 个 好 主意 , 但 是 关联 会 更 灵活 。 如 此 一 来 ,你 可 
以 方便 地 向 用 户 显示 他 们 的 所 有 评论 , 还 可 以 显示 所 有 文章 里 的 最 新 评论 。 这些 特 性 对 于 大 多 数 
站 点 而 言 是 必 不 可 少 的 ， 但 此 时 此 刻 却 无 法 用 内 骸 文 档 来 实现 。" 通 常 都 会 使 用 对 象 ID 来 关联 文 
档 ， 以 下 是 一 个 示例 文章 对 象 : 


{ _id: ObjectId("4d650d4cf32639266022018qd")， 
title: "Cultivating herbs'", 


























text: "Herbs require occasional watering..." 
} 
D2 YY YY Y i » 一 » 
下 面 是 评论 ， 通 过 post_id 字 段 进 行 关联 : 
{ _id: ObjectId("4d650d4cf32639266022ac01")， 
post_id: ObjectId("4d650d4cf32639266022018d")， 
USername: "zjones'", 


text: "Indeed, basil is a hearty herbl!'" 
} 


文 草 和 评论 都 放 在 各 目的 集合 里 ,需要 用 两 个 查询 来 显示 文 草 及 其 评论 。 因 为 会 基于 
post_idqd 字 段 杏 询 评论 ， 所 以 你 希望 为 其 添加 一 个 索引 
db.comments.ensureIndex({post id: 1}) 


我 们 在 第 4 章 、 第 5 章 和 第 6 章 中 广泛 使 用 了 一 对 多 模式 ， 其 中 有 更 多 例子 可 供 参 考 。 
B.1.3 ”多 对 多 


在 RDBMS 里 会 使 用 联结 表 来 表示 多 对 多 关系 ; 在 MongoDB 里 , 则 是 使 用 数组 键 ( array key )。 
本 书 先 前 的 内 容 里 就 有 该 技术 的 示例 ,其 中 对 产品 和 分 类 进行 了 关联 。 每 个 产品 都 包含 一 个 分 类 
ID 的 数组 ， 产 品 与 分 类 都 有 上 自己 的 集合 。 假 设 你 有 两 个 简单 的 分 类 文档 : 
{ _id: ObjectId("4d6574baa6b804ea563c132a"), 
title: "Epiphytes'" 


























} 
{ _1id: ObjectId("4d6574baa6éb804ea563c459d"),， 
title: "Greenhouse flowers" 


} 
同时 属于 这 两 个 分 类 的 文档 看 起 来 会 像 下 面 这 样 : 
{ _1id: ObjectId("4d6574baa6b804ea563ca982"),， 
name: "Dragon Orchid", 
category_ids: [ ObjectId("4d6574baa6éb804ea563c132a"),， 


ObjectId("4d6574baa6b804ea563c459d") ] 
} 





(D 有 一 个 很 热门 的 虚拟 集合 ( virtual collection ) 特性 请 求 ， 对 两 者 都 有 很 好 的 支持 。 请 访问 http://jira.mongodb.org/ 
browse/SERVER-142 了 解 这 一 特性 的 最 新 进展 。 
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为 了 提高 查询 效率 ， 应 该 为 分 类 ID 增加 索引 : 
db.products.ensureIndex({fcategory_ ids: 1}) 
之 后 ， 查 找 Epiphytes 分 类 里 的 所 有 产品 ， 就 是 简单 地 匹配 category_iq 字 段 : 
db.products.find({category id: ObjectId("4d6574baa6b804ea563c132a")}) 
要 返回 所 有 与 Dragon Orchid 产 品 相 关 的 分 类 文档 ， 先 获取 该 产品 的 分 类 ID 列表 : 
product = db.products.findone({_id: ObjectId("496574baa6b804ea563ca982")}) 
然后 使 用 $in 操 作 符 查询 categories 集 合 : 
db.categories.find({_id: {$in: broduct['category_ ids']}}) 
你 会 注意 到 ， 查 询 分 类 要 求 两 次 查询 ， 而 查询 产品 只 需要 一 次 。 这 是 针对 篆 见 场景 的 优化 ， 
因为 比 起 其 他 场景 ， 查 询 某 个 分 类 里 的 产品 可 能 性 更 大 。 











B.1.4 树 


和 大 多 数 RDBMS 一 样 ，MongoDB 没 有 内 置 表示 和 遍历 树 的 机 制 。 因此， 如 采 你 需要 树 的 行 
为 ， 就 只 有 自己 想 办 法 了 。 我 在 第 $ 昔 和 第 6 草 里 给 出 了 一 种 分 类 层级 问题 的 解决 方案 ,该 策略 是 
在 每 个 分 类 文档 里 保存 一 份 分 类 祖先 的 快照 。 这 种 去 正规 化 让 更 新 操作 变 复 杂 了 , 但 是 极 大 地 简 
化 了 读 操 作 。 

可 惜 ,去 正规 化 祖先 的 方式 并 非 适 用 于 所 有 问题 。 为 一 个 场景 是 在 线 论 坛 , 成 百 上 干 的 帖子 
通常 层 层 般 侠 ， 层 次 很 深 , 对 于 祖先 方式 而 言 ， 这 里 的 般 侠 实在 太 多 了 ,数据 也 太 多 了 。 有 一 个 
不 错 的 解决 方法 一 一 具 化 路 径 ( materialized path )。 

根据 具 化 路 径 模式 ， 树 中 的 每 个 记 点 都 要 包含 一 个 path 字 段 ， 该 字段 具体 保存 了 每 个 斑点 
祖先 的 ID ， 根 级 节点 有 一 个 空 path， 因 为 它们 没有 祖先 。 让 我 们 通过 一 个 例子 进一步 了 解 该 模 
式 。 站 完 ， 看 看 图 B-1 中 的 论坛 帖子 ， 其 中 是 关于 希腊 历史 的 问题 与 回答 。 



































A 5 pomts by kbanker 1 hour ago 





Who was Alexander the Great's teacher? 


A 2 poimnts by asophist 1 hour ago 





lt was definitely Socrates. 


A 10pomts by daletheia 1 hour ago 





Oh you sophist...[t was actually Aristotle! 


A 1pointbyseuclid 2 hours ago 





So who really discarded the parallel postulate? 


图 B-1 论坛 里 的 帖子 
让 我 们 看 看 这 些 帖 子 是 如 何 通 过 具 化 路 径 组 织 起 来 的 。 站 和 完 看 到 的 是 根 级 文档 ， 所 以 path 


是 null: 
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{ _id: ObjectId("4d692b5d59e212384d95001")， 
depth: 0, 
path: null, 
created: ISODate("2011-02-26T17:18:01.2512Z"),， 
username: "kbanker", 
body: "Who was Alexander the Great's teacher?'", 
thread _ id: ObjectIid("4d692b5d59e212384d95223a") 

} 

其 他 的 根 级 文档 ， 即 用 户 seuclid 提 的 问题 ,也 有 相同 的 结构 。 更 能 说 明 问 题 的 是 后 续 与 亚 历 
山大 大 带 ( Alexander the Great ) 的 老师 相关 的 讨论 。 查 看 其 中 的 第 一 个 文档 ， 我 们 注意 到 path 中 
包含 上 级 父 文档 的 _ia， 

{ _id: ObjectId("4d692pb5d59e212384d951002")， 

deBtlh: 1]. 

path: "4d692pb5d59e212384d95001",，, 

created: ISODate("2011-02-26T17:21:01.2512Z"),， 
username: "asophist", 

body: "It was definitely Socrates.", 

thread id: ObjectId("4d692b5d59e212384d95223a") 

} 

下 一 个 更 深 的 文档 里 ，path 包 含 了 根 级 文档 和 上 级 父 文档 的 ID， 依 次 用 分 号 分 隔 : 

{ _id: ObjectId("4d692pb5d59e212384d95003")， 

depth: 2, 

path: "4d692pb5d59e212384d95001:4d692pb5d59e212384d951002",， 
created: ISODate("2011-02-26T17:21:01.2512Z"),， 

username: "daletheia", 

body: "Oh you sophist...I1It was actually Aristotle!", 
thread id: ObjectId("4d692pb5d59e212384d95223a") 

} 


最 起 码 ， 你 布 望 thread_id 和 path 字 上段 能 加 上 索引 ， 因 为 总 是 会 基于 其 中 某 一 个 字段 进行 
奋 询 : 


db.comments.ensureIndex({thread id: 1}) 
db.comments.ensureIindex({path: 1}) 


现在 的 问题 是 如 何 查 询 并 显示 树 。 具 化 路 径 模 式 的 好 人 处 之 一 是 无 论 是 要 展现 完整 的 帖子 , 还 
是 其 中 的 一 棵 子 树 ， 都 只 需 查 询 一 次 数据 库 。 前 者 的 查询 很 向 单 : 

db.comments.find({thread id: objectId("4d692b5d59e212384d95223a") } ) 

针对 特定 子 树 的 查询 稍微 复杂 一 点 ， 因 为 其 中 用 到 了 前 级 查询 : 

db.comments.find({path: /^4d692b5d59e212384995001/)) 

该 查询 会 返回 拥有 指定 字符 串 开 头 路 径 的 所 有 帖子 。 该 字符 串 表示 了 用 户 名 为 kbanker 的 
讨论 的 _iq， 如 采 查 看 每 个 子 项 的 path 字 段 , 很 容 多 发 现 它 们 都 满足 该 查询 。 这 种 查询 执行 速度 
很 快 ， 因 为 这 些 前 级 查询 都 能 利用 patn 上 的 索引 |。 

获得 帖子 列表 是 很 容易 的 事 ， 因 为 它 只 需要 一 次 数据 库 查 询 。 但 是 显示 就 有 点 及 烦 了 了， 因为 
显示 的 列表 中 要 保留 帖子 的 顺序 ， 这 要 在 客户 端 做 些 处 理 一 一 可 以 用 以 下 Ruby 方 法 实现 。 "第 一 















































由 本 书 的 源 代 码 中 包含 了 完整 示例 ， 其 中 实现 了 具 化 路 径 模式 ， 并 且 用 到 了 此 处 的 显示 方法 。 


220 附录 B 设计 模式 


个 方法 threadqedaq_list 构 建 了 所 有 根 级 帖子 的 列表 ， 还 有 一 个 Map， 将 父 ID 映射 到 子 节 点 : 


def threadeqd list(cursor, opts={}) 
list = [|] 
chilqd map = {} 
= Eee = Oostart le 


cursor .each do |comment | 
if commentl['depth'] == start_ depth 
list.push (comment) 
else 
matches = comment["path'| .mateh(/([d|w]+) 7) 
immediate parent id = matches[1] 
if immediate parent id 
chilg meplimmediate parent igd| ||= {] 
child maplimmediate _ Parent id] << comment 
end 
end 
end 


assemble (list, child map) 
end 


assemble 方 法 接受 根 订 太 列表 和 子 廊 点 Map， 按照 显示 顺序 构建 一 个 新 的 列表 : 


def assemble(comments, map) 

Tiet = 

comments.each do |comment | 
list.push (comment) 
child comments = maplcomment['_ id'] .to _s] 
1if child comments 

list.concat(assemble(child comments, map)) 

end 

end 








小 本 七 
end 


到 了 真正 显示 的 时 候 ， 只 需 迭 代 这 个 列表 ， 根 据 每 个 讨论 的 这 度 适 当 缩 进 就 行 了 : 


def print threaded list(cursor, opts={}) 
threaded list(cursor, opts) .each do |itenm| 
indent = " " * jtem[l'depth'l| 
Puts indent + item['body'] + " #{item['path']}" 
end 
end 


此 时 ， 查 询 并 显示 讨论 的 代码 就 很 何 单 了 : 


CUIrSor = Qcomments.find.sort("created") 
print threadeqd list(cursor) 


B.1.5 工作 队列 


你 可 以 使 用 标准 集合 或 者 固定 集合 在 MongoDB 里 实现 工作 队列 。 无 论 使 用 哪 种 集合 ， 
findAndModi fy 命令 都 能 让 你 原子 地 处理 队列 项 。 





附录 B 设计 模式 221 


队列 项 要 求 有 一 个 状态 字段 ( state ) 和 一 个 时 间 鹤 字段 (timestamp )， 剩 下 的 字段 用 来 
包含 其 承载 的 内 容 。 状 态 可 以 编码 为 字符 串 , 但 是 整数 更 省 空间 。 我 们 将 用 0 和 1 来 分 别 表示 未 处 
理 和 已 处 理 。 时 间 惟 是 标准 的 BSON 日 期 。 此 处 承载 的 内 容 就 是 一 个 简单 的 纯 文本 消息 ， 它 原则 





上 可 以 是 任何 东西 。 
{etate: 0 
created: ISODate("2011-02-24T16:29:36.6972Z")， 
message: "hello world" } 


你 需要 声明 一 个 索引 ， 这 样 才能 高 效 地 获取 最 老 的 未 处 理 项 ( FIFO )。state 和 created 上 
的 复合 索引 正好 合适 : 
db.gqueue.ensureIndex({state: 1, created: 1}) 


随后 使 用 fingAangModify 返 回 下 一 项 ， 并 将 其 标记 为 已 处 理 : 


{state: 0} 

{created: 1} 

{sset: {state: 1}} 

db.queue.findAndModifyl({query: dq, sort: s, update: ul}) 


如 果 使 用 的 是 标准 集合 ， 需 要 确保 会 删除 老 的 队列 项 。 可 以 在 处 理 时 使 用 findandModify 
的 {remove: true} 选 项 来 移 除 它们 。 但 是 有 些 应 用 程序 硕 望 处 理 完 成 之 后 ， 过 一 段 时 间 再 进行 
删除 操作 。 

国定 集合 也 能 作为 工作 队列 的 基础 。 没 有 _ia 上 的 默认 索引 ， 固 定 集合 在 插入 时 速度 更 快 ， 
但 是 这 一 差别 对 于 大 多 数 应 用 程序 而 言 都 可 以 忽略 不 计 。 男 一 个 潜在 的 优势 是 自动 删除 特性 , 但 
这 一 特性 是 一 把 双 刃 剑 : 你 要 确保 集合 足够 大 ， 避 免 未 处 理 的 队列 项 被 挤 出 队列 。 因 此 ， 如 采 使 
用 固定 集合 ， 要 让 它 足 够 大 ， 理 想 的 集合 大 小 取决 于 队列 的 写 否 吐 量 和 平均 载 集 内 容 大 小 。 

一 旦 决定 了 固定 集合 的 大 小 ，Schema、 有 驼 引 和 findqaAndqModadify 的 使 用 都 和 刚才 介绍 的 标准 
集合 一 样 。 


B.1.6 动态 属性 


MongoDB 的 文档 数据 模型 在 表示 属性 会 有 变化 的 条 目 时 非常 有 有 用。 产品 就 是 一 个 公认 的 例 
子 , 在 本 书 先前 的 部 分 里 你 已 经 看 到 过 此 类 建 模 方 法 了 。 将 此 类 属性 置 于 子 文档 之 中 ,就 是 一 种 
行 之 有 效 的 建 模 方法 。 在 一 个 broducts 集 合 中 ， 可 以 保存 完全 不 同 的 产品 类 型 ， 你 可 以 保存 一 
副 征 机 : 
{ _id: ObjectId("4d669c225d3a52568ce07646") 
sku: "ebd-123" 


name: "Hi-Fi Earbuds", 
type: "Headphone", 





dq 
S 


1 






































attre:  {( Golor: Vellver',, 
freq low: 20, 
freq hi: 22000, 
weight: 0.5 
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和 一 块 SSD 硬 盘 : 


{ _id: ObjectId("4d669c225d3a52568ce07646") 
sku: "ssd-456" 
name: "Mini SSD Drive", 
type: "Hard Drive", 
attrs: { interface: "SATA", 
capacity: 1.2 * 1024 * 1024 * 1024, 
rotat1ion. 7/200, 
上 GE 二 CD 295 
} 
} 


如 采 和 再 要 频 索 地 查询 这 些 属 性 ,可 以 为 它们 建立 黎 臣 守 引 。 例 如 ， 可 以 为 钊 用 的 耳机 范围 查 
询 进 行 优化 : 


db.products.ensureindex({"attrs.freq low": 1, "attrs.freq hi": 1}, 
{sparse: true}) 


还 可 以 通过 以 下 索引 ， 根 据 转 速 高 效 地 查询 便 盘 : 

db.products.ensureIndex({"attrs.rotation": 1}, {sparse: true] 

此 处 的 整体 策略 是 为 了 提高 可 读 性 和 应 用 可 发 现 性 (discoverability ) 而 将 属性 圈 在 一 个 范围 

， 通 过 稀 玖 索引 将 空 值 排除 在 索引 之 外 。 

如 果 属 性 是 完全 不 可 预测 的 , 那 就 无 法 为 每 个 属性 构建 单独 的 索引 。 这 就 必须 使 用 不 同 的 策 
略 了 ， 就 像 下 面 这 个 示例 文档 所 示 : 


{ _1id: ObjectId("4d669c225d3a52568ce07646") 
sku: "ebd-123" 

















name: "Hi-Fi Earbuds", 
type: "Headphone", 
attre [ {in: "COlLor™, Vv "Sllver"}. 


(nN: "fredgq Low ys YY: 20, 
CT EE 2 0000 
{n: "weight", Vv: 0.5} 

] 





这 里 的 Se 问 on 每 个 子 文档 都 有 两 个 值 np 和 v, 分 别 对 应 了 动态 属性 的 名 
字 和 取 值 。 这 种 正规 化 表述 让 你 能 通过 一 个 复合 汉 引 来 索引 这 些 属性 
db.products.ensureIndex({"attrs.n": 1, "attrs.v": 1)) 
随后 就 能 用 这 些 属性 进行 查询 了 ,但 是 必须 使 用 selemMat ch 查询 操作 符 
db.products.find({attrs: {$elemMatch: {n: "color", Vv: "silver"}})) 
请 注意 ， 这 种 策略 会 市 来 不 少 开销 ， 因 为 它 要 在 索引 里 保存 键 名 。 在 用 于 生产 环境 之 前 ,使 
用 有 代表 性 的 数据 集 进 行 性 能 测试 是 很 重要 的 。 


B.1.7 事务 
MongoDB 不 会 为 一 系列 操作 提供 ACID 保障 ， 也 不 存在 与 RDBMS 里 的 BEGIN 、COMMIT 和 
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ROLLBACK 语 义 等 价 的 东西 。 需 要 这 些 特性 时 ， 就 换个 数据 库 吧 ( 可 以 针对 需要 适当 事务 保障 的 
数据 部 分 ， 也 可 以 把 应 用 程序 的 数据 库 整 个 换 了 )。 不 过 MongoDB 文 持 单 个 文档 的 原子 性 、 持 久 
化 更 新 ， 还 有 一 致 性 证 ， 这 些 特性 虽然 原始 ， 但 能 在 应 用 程序 里 实现 类 似 事 务 的 作用 。 

第 6 章 在 处 理 订 单 授 权 与 库存 管理 时 已 经 有 一 个 很 好 的 例子 了 。 本 附录 前 面 实现 的 工作 队列 
也 能 方便 地 添加 回 滚 文 持 。 这 两 个 例子 里 ， 功 能 强大 的 finqaAndModify 命 令 是 实现 类 似 事务 行 
为 的 基础 ， 可 以 用 来 操作 一 个 或 多 个 文档 的 state 字 有 段 。 

所 有 这 些 案例 里 用 到 的 事务 策略 都 能 描述 为 补偿 驱动 (compensation-driven )“”。 抽象 后 的 补 
偿 过 程 如 下 。 

(1) 原子 性 地 修改 文档 状态 。 

(2) 执行 一 些 操 作 ， 可 能 包含 对 其 他 文档 的 原子 性 修改 。 

(3) 确保 整个 系统 ( 所 有 涉及 的 文档 ) 都 处 于 有 效 状 态 。 如 果 情 况 如 此 ， 标 记事 务 完成 ; 否 
则 将 每 个 文档 都 改 回 事务 前 的 状态 。 

值得 注意 的 是 ,补偿 驱动 策略 儿 乎 是 长 时 间 多 步 事务 所 必 不 可 少 的 , 授权 、 送 贷 及 取消 订单 
的 过 程 只 是 一 个 例子 。 对 于 这 些 场 景 ， 就 算是 有 完整 事务 声 义 的 RDBMS 也 必须 实现 一 套 类 似 的 
彩 略 。 

也 许 没 办 法 避 开 某 些 应 用 程序 对 多 对 象 ACID 事 务 的 需求 。 但 是 只 要 有 正确 的 模式 ， 
MongoDB 也 能 提供 - 些 事务 保障 ， 可 以 文 持 应 用 程序 所 需 的 事务 性 语义 。 
B.1.8 局 部 性 与 预计 算 

MongoDB 经 党 被 冠 以 分 析 数 据 库 (analytics database ) 之 名 ， 大 量 用 户 在 MongoDB 之 中 保存 
分 析 数 据 。 原 子 增加 与 宦 文 档 的 结合 看 上 去 很 棒 。 例如， 下 面 这 个 文档 表示 了 一 个 月 中 每 一 天 的 
总 页 面 访问 量 ， 还 带 有 该 月 的 总 访问 量 。 人 简单 起 见 ， 以 下 文档 只 包含 该 月 涉 五 天 的 数据 : 


{ base: "org.mongodb", path: "/", 
total: 99234, 
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J 
可 以 使 用 $inc 操 作 符 进行 简单 的 针对 性 更 新 ， 以 修改 某 一 天 或 这 个 月 的 访问 量 : 
USe stats-2011 


db.sites-nov.updatel({ base: "org.mongodb", path: "/" }, 
STTTC /total: wl dave Se: | 


(有 两 个 涉及 补偿 驱动 事务 的 文献 值得 一 读 。 最 初 由 Garcia-Molina 和 Salem 所 车 的 “Sagas”( http://mng.bz/73is )。 另 
一 篇 不 太 正 式 ， 但 同样 有 趣 ， 见 “Your Coffee Shop Doesn't Use Two-Phase Commit”( http://mng.bz/kpAq )， 作 者 
是 Gregor Hohpe。 
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稍微 关注 一 下 集合 与 数据 库 的 名 字 ， 集 合 sites-nov 是 针对 某 一 月 份 的 ， 而 数据 库 
stats-2011 是 针对 特定 年 份 的 。 

这 为 应 用 程序 带 来 了 良好 的 局 部 性 。 在 查询 最 近 的 访问 情况 时 ， 只 需要 查询 一 个 集合 ， 比 起 
整个 分 析 历 史 数 据 ,， 这 数量 就 小 多 了 。 如 果 需 要 删除 数据 ， 可 以 删 反 某 个 时 间 段 的 集合 ， 而 不 是 
从 较 大 的 集合 里 删除 文档 的 子 集 。 后 者 通常 会 造成 磁盘 碎片 。 

实践 中 的 男 一 条 原则 是 预计 算 。 有 了 时, 在 每 个 月 开头 时 ,你 需要 插入 一 个 模板 文档 ， 其 中 每 
一 天 都 是 零 值 。 因 此 ,在 增加 计数 器 时 文档 大 小 不 会 改变 ， 因 为 并 没有 增加 字段 ， 只 是 原 地 改变 
了 它们 的 值 。 这 一 点 很 重要 ， 因 为 在 写 操 作 时 ， 这 能 避免 对 文档 重新 进行 磁盘 分 配 。 重 新 分 配 很 
慢 ， 通 党 也 会 造成 碎片 。 


B.2 反 模 式 


MongoDB 缺 乏 约 束 ， 这 会 导致 糟糕 的 数据 组 织 。 在 一 些 有 问题 的 生产 环境 中 ， 经 常会 出 现 
如 下 人 情况。 


























B.2.1 索引 随意 


当 用 户 遭 遇 性 能 问题 时 , 经 第 会 发 现 一 大 堆 无 用 的 或 是 低 效 的 索引 。 对 于 应 用 程序 而 言 ， 最 
有 效 的 索引 集 总 是 基于 对 其 运行 的 查询 的 分 析 。 请 人 循 第 7 革 里 的 优化 方法 。 























B.2.2 ”类 型 杂乱 

请 确保 一 个 集合 里 的 同名 键 都 拥有 一 样 的 类 型 。 举 个 例子 ， 如果 要 保存 一 个 电话 号 码 , 就 用 
一 致 的 方式 保存 ， 可 以 是 字符 日 ， 也 可 以 是 整数 〈 但 别 一 起 用 )。 在 菏 个 键 值 里 混用 不 同类 型 会 
造成 应 用 程序 逻辑 复杂 ， 在 茶 些 强 类 型 语言 中 这 会 让 BSON 文 档 难以 解析 。 

















B.2.3 桶 集合 


一 个 集合 应 该 只 针对 一 类 实体 ,不 要 把 产品 和 用 户 放 在 一 个 集合 里 。 因 为 集合 的 代价 并 不 高 ， 
所 以 应 用 程序 里 的 每 个 类 型 都 应 该 有 目 己 的 集合 。 


B.2.4 文档 很 大 、 角 套 很 深 


关于 MongoDB 的 文档 数据 模型 有 两 个 误解 。 其 一 ， 永 远 不 要 在 集合 之 间 构 建 天 系 ， 而 是 在 
一 个 文档 里 表示 所 有 的 关系 。 这 通 肖 会 演变 为 一 厂 混 乱 , 但 是 用 户 有 时 还 古 和 所 此 不 疲 。 第 二 个 误 
解 源 自 对 “文档 ”这 个 词 的 过 度 字 面 解释 ， 在 用 户 看 来 ,文档 是 一 个 实体 ， 就 像 真 实生 活 中 的 文 
档 。 这 会 导致 文 梢 过 大 ， 不 多 查询 和 和 更新， 理解 就 更 谈 不 上 了 。 

这 里 的 底线 是 应 该 保持 小 文档 ( 每 个 文档 最 好 都 能 小 于 100 KB, 除非 是 在 保存 原始 二 进 制 数 
据 )， 内 骸 层 次 不 易 过 深 。 文 档 代 寸 较 小 会 让 更 新 的 开销 更 少 ， 当 第 要 在 磁盘 上 完整 重 写 一 吉文 
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档 时 ， 重 写 的 东西 会 更 少 。 为 一 个 好 处 是 文档 依然 可 以 理解 ,这 能 让 需要 理解 数据 模型 的 开发 者 
生活 更 轻松 。 


B.2.5 一 个 用 户 一 集合 


为 每 个 用 户 构 建 一 个 集合 通常 都 不 是 好 主意 ,这 种 做 法 的 问题 之 一 是 命名 空间 ( 索引 加 集合 ) 
会 超过 默认 的 24 000。 一 旦 超过 这 个 阔 值 ， 就 必须 分 配 新 的 数据 库 。 此 外 ， 每 个 集合 和 它 的 索引 
都 会 引入 额外 的 开销 ， 因 此 这 种 策略 很 浪费 空间 。 


B.2.6 无 法 分 片 的 集合 


如 果 预 计 到 一 个 集合 会 变 大 , 可 能 大 到 需要 分 片 , 这 时 需要 确保 最 终 能 进行 分 片 。 只 有 那些 
定义 出 高 效 分 片 键 的 集合 ， 才 是 可 分 片 的 。 请 回顾 第 9 章 关 于 分 片 键 选取 的 内 容 。 
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在 存储 图 片 、 缩 略图 、 音 频 和 其 他 二 进 制 文件 时 ， 很 多 应 用 程序 都 只 依赖 文件 系统 。 虽 然 文 
件 系统 提供 了 对 文件 的 快速 访问 能 力 , 但 也 会 市 来 组 织 混 乱 问 题 。 考虑 到 大 多 数 文 件 都 限制 了 
个 目录 的 文件 数 ， 如 条 要 保存 数 以 百 万 的 文件 ， 需 要 设计 一 套 胰 略 ， 将 文件 放 和 多 个 目录 里 。 另 
一 个 难点 涉及 元 数据 , 因为 文件 元 数据 仍然 存储 在 数据 库 里 , 所 以 想 对 文件 及 其 元 数据 进行 精确 
备份 会 极其 复杂 。 

针对 某 些 使 用 场景 ， 耻 接 将 文件 保存 在 数据 库 里 更 加 合理 ， 因 为 这 能 人 简化 文件 的 组 织 与 备 
份 。 在 MongoDB 中 ， 可 以 使 用 BSON 二 进 制 类 型 来 保存 各 种 二 进 制 数据 。 这 种 数据 类 型 与 
RDBMS BLOB (binary large object ) 类 型 相对 应 ， 是 MongoDB 提 供 的 两 种 二 进 制 对 象 存储 方 
式 的 基础 。 

第 一 种 方式 ， 每 个 文件 一 个 文档 ， 适 用 于 较 小 的 二 进 制 对 象 。 如 末 要 对 大 量 缩 略图 或 MD5 
进行 分 类 保存 , 那么 单一 文档 二 进 制 存储 会 更 简单 一 些 。 另 一 方面 ,你 可 能 希望 保存 大 图 片 和 音 
频 文 件 。 这 时 GridFS 会 是 更 好 的 选择 ， 它 是 MongoDB 用 于 存储 任意 大 小 二 进 制 对 象 的 API。 下 文 
中 你 会 看 到 这 两 种 存储 技术 的 复杂 示例 。 


C.1 简单 二 进 制 存储 


BSON 中 包含 了 一 种 很 适用 于 二 进 制 数据 的 类 型 , 可 以 用 它 直 接 在 MongoDB 文 档 中 保存 二 进 
制 对 象 。 对 象 大 小 的 唯一 限制 是 文档 本 身 的 大 小 限制 ,MongoDB v2.0 起 是 16 MB。 因 为 这 样 的 大 
文档 会 消耗 系统 资源 ， 所 以 在 保存 大 于 1 MB 的 二 进 制 对 象 时 鼓励 使 用 GridFS。 

我 们 会 看 到 两 种 在 单个 文档 里 保存 二 进 制 对 象 的 合理 用 法 ,先是 保存 图 片 缩 略 图 , 然后 是 保 
存 附 属 的 MD5。 


C.1.1 保存 缩 略 图 


假设 需要 保存 一 组 图 片 缩 略 图 ,代码 很 简单 。 首 先 ， 获 得 图 片 的 文件 名 canyon-thumb. 
jpg， 将 数据 读 取 到 局 部 变量 中 ; 然后 ， 使 用 Ruby 驱 动 的 BSON: :Binary 构 造 器 将 原始 的 二 进 制 
数据 封装 为 BSON 二 进 制 对 象 : 
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require :TuUbydems ， 
require :mongo'， 


image_filename = File.join(File.dirname( _FILE ), "canyon-thumb.jpg") 
image _ data = File.open(image filename) .read 


bson_ image _ data = BSON: :Binary.new (image_ data) 
剩 下 的 就 是 构建 一 个 将 包含 二 进 制 数据 的 简单 文档 ， 随 后 将 其 插入 数据 库 : 


doc = {"name" => "monument-thumb.jJpg", 
"data" => bson image data } 


Qcon = Mongo: :Connection.new 
@thumbnails = @conl[l'images']['thumbnails'] 
@image_ id = @thumbnails.insert (doc) 


要 提取 二 进 制 数据 ， 先 获取 文档 ， 在 Ruby 里 ，to_s 方 法 会 将 数据 拆 解 (unpack ) 成 二 进 制 
字符 串 ， 你 可 以 用 它 来 对 保存 的 数据 和 原始 数据 进行 比较 : 





doc = @thumbnails.find one({"_ id" => @image 1i1d}) 
if Inade data == doodata): te es 

Puts "Stored image is equal to the original filel!" 
end 


如 琳 运 行 上 述 脚 本 ,你 会 看 到 一 段 消 忆 ， 这 个 消 晨 表明 两 个 文件 是 相同 的 。 
C.1.2 存储 MD5 


将 校 验 和 (checksum ) 存储 为 二 进 制 数据 是 很 常见 的 做 法 ， 这 是 BSON 二 进 制 类 型 的 为 一 种 
用 途 。 以 下 展示 如 何 生成 缩 略 图 的 MD5， 并 将 它 添加 到 刚才 保存 的 文档 里 : 


require 'md5' 
md5 = Digest: :MD5.file(image filename) .digest 
bson md5 = BSON: :Binary.new (md5, BSON: :Binary: :SUBTYPE MD5 ) 





@thumbnails.update({:_id => @image id}, {"S$set" => {:md5 => bson_ md5}}) 

请 注意 ， 在 创建 BSON 二 进 制 对 象 时 ， 要 将 数据 标记 为 SUBTYPE_MD5。 子 类 型 是 BSON 二 进 
制 类 型 的 额外 字段 ,标明 了 所 保存 的 二 进 制 数据 种 类 。 但 是 , 该 字段 是 完全 可 选 的 ， 对 数据 库 如 
何 保存 或 解释 数据 没有 影响 。” 

查询 刚才 保存 的 文档 非常 容易 ,但 请 注意 ,你 应 该 排除 数据 字段 ,这样 返 回 的 文档 尺寸 较 小 
日 方便 阅读 : 

> use images 


> db.thumbnails.findOone({}, {data: 0}) 

{ 
"_ id" : ObjectId("4d608614238d3b4ade000001")， 
"md5" : BinData(5, "Kliud3EUjJT49wdMdkOGjbDg=="),， 
"name" : "monument-thumb.jJpg" 


】 














由 事实 并 非 总 是 如 此 。 已 经 不 再 推荐 使 用 默认 子 类 型 2 了 ， 该 类 型 指出 在 附带 的 二 进 制 数据 中 还 包含 额外 的 四 个 字 
节 ， 它 们 用 来 标明 大 小 ， 这 确实 对 一 些 数 据 库 命令 有 影响 。 现 在 的 软 认 子 类 型 是 0(， 目 前 所 有 的 子 类 型 都 以 相同 
的 方式 来 保存 二 进 制 负载 内 容 。 因 此 也 可 以 将 子 类 型 视 为 一 种 轻 量 级 的 标签 ， 应 用 程序 开发 者 可 以 选择 使 用 。 
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mdq5 字 段 被 清晰 地 标记 为 二 进 制 数据 ， 市 有 子 类 型 和 原始 的 负载 内 容 。 


C2 GridFS 


在 MongoDB 中 ， 常 见 做 法 是 使 用 GridFS 保 存 任意 大 小 的 文件 。 所 有 的 官方 驱动 和 MongoDB 
的 mongofiles 工 具 都 实现 了 GridFS 规 范 ， 这 保证 了 路 平 台 的 一 致 性 访问 能 力 。GridFS 对 于 在 数 
据 库 中 存储 大 型 二 进 制 对 象 很 有 用 。 通 常 GridFS 也 能 快速 处 理 这 些 对 象 , 而 且 存 储 方 法 有 助 于 用 
流 进行 操作 。 

GridFS 这 个 词 通 常会 带 来 一 些 困扰 ,所 以 最 好 立刻 澄清 两 件 事 情 。 第 一 ,GridFS 并 非 MongoDB 
的 内 部 特性 ， 正 如 前 面 所 说 的 ，GridFS 是 所 有 官方 驱动 4 和 一 些 工具 ) 用 来 在 数据 库 里 管理 大 型 
二 进 制 对 象 的 一 个 惯例 。 第 二 ， 必 须 说 明 GridFS 没 有 真实 文件 系统 那样 丰富 的 语义 。 举 例 来 说 ， 
GridFS 中 没有 锁 和 并 发 的 协议 ， 这 就 把 GridFS 接 口 限制 在 了 简单 的 提交 (put )、 获 取 ( get ) 和 删 
除 ( delete ) 操作 上 。 也 就 是 说 ， 如 果 想 更 新 一 个 文件 ， 需 要 先 删 除 ， 然 后 再 提交 新 版 本 。 

GridFS 会 把 大 文件 拆 分 成 小 的 256 KB 的 块 , 将 每 个 块 都 保存 在 单独 的 文档 里 。 这 些 块 默认 保 
存在 名 为 fs .chunks 的 集合 里 。 写 完 块 后 ， 文 件 的 元 数据 会 被 放 到 名 为 fs.files 的 男 一 集合 里 ,用 
单独 的 文档 来 保存 。 图 C-1 人 简单 描述 了 这 个 流程 ， 人 处理 一 个 假想 的 1 MB 文件 一 一 canyon.jpg。 
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图 C-1 ”使 用 GridFS 保 存 文件 
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要 运用 GridFS ， 有 这 些 理论 基础 就 够 了 了 。 接 下 来 ， 让 我 们 通过 Ruby 的 GridFS API 和 
mongofiles 工 具 来 进行 一 些 实践 。 


C.2.1 通过 Ruby 使 用 GridFS 


先前 你 保存 了 一 个 小 的 缩 略 图 ， 缩 略图 只 有 10KB， 可 以 理想 地 保存 在 单个 文档 里 。 原 始 网 片 
有 差不多 2 MB , 因此 更 适合 用 GridFS 来 存储 , 这 里 将 通过 Ruby 的 GridFS API 来 存储 原始 图 片 。 首先 ， 
连接 数据 库 ， 初 始 化 一 个 Grid 对 象 ， 其 中 会 持 有 一 个 用 来 保存 GridFS 文 件 的 数据 库 的 引用 。 

接 下 来 , 打开 原始 图 片 canyon .jpg, 准备 读 取 文件 内 容 。 最 基本 的 GridFS 接 口 通过 一 些 方 
法 来 提交 和 获取 文件 。 你 可 以 使 用 Grida#put 方 法 ， 它 既 可 以 接受 二 进 制 数 据 字 符 串 ， 也 可 以 接 

















受 Io 对 象 ， 比 如 文件 指针 。 传 人 文件 指针 后 ， 数 据 就 写 进 数据 库 了 。 
该 方法 会 返回 文件 的 唯一 对 象 ID : 
Qcon Mongo: :Connection.new 


Gap Qcon["ijmages"] 


GQgrid = Mongo: :Grid.new(@db) 


filename = File.join(File.dirname( _FILE ), "canyon.jJpg") 
file = File.open(filename, "r") 


Fl tLe na eS rm 

如 上 所 述 ，GridFS 用 了 两 个 集合 来 存储 文件 数据 。 第 一 个 集合 通常 名 为 fs . files， 用 来 保 
存 每 个 文件 的 元 数据 。 第 二 个 集合 fs .chunks 保 存 了 每 个 文件 的 一 个 或 多 个 二 进 制 数据 块 。 让 我 
们 在 Shell 里 简单 实验 一 下 。 

切换 到 images 数 据 库 , 查询 fs .files 和 集合 里 的 第 一 个 条 上 日 。 你 会 看 到 刚才 保存 的 文件 的 元 
数据 : 

> use images 

> db.fs.files.findone!l() 

| 


"Iad" : ObjectId("4d606588238d3b4471000001")， 
"filename" : "canyon.jJpg", 


Aa A MT rN 六 Nr 人 ~ 起 


I 
COIILEIIULIYPS 5 DlIiiar Y/oOC 


"Jength" : 2004828， 


"chunkSize" : 262144, 
"BLOoadDate'" » ISODate("2011=02-20TOO0*51:21.1912Z"), 
"md5" : "9725ad463b646ccbd287be87cb9pblf6e" 


} 

这 些 是 每 个 GridFS 文 件 最 起 码 的 属性 , 大 多 数 的 含义 不 言 而 喻 。 你 可 以 看 到 这 个 文件 大 约 有 
2 MB， 被 拆 分 成 了 256 KB 的 块 。 其 中 还 有 一 个 MD5，GridFS 规 范 要 求 有 一 个 校 验 和 来 保证 存储 
的 文件 和 原始 文件 是 一 致 的 。 
每 个 块 都 在 files_iaq 字 段 里 保存 了 文件 的 对 象 ID ， 可 以 方便 地 计算 出 该 文件 所 使 用 的 块 的 

















> ab.fs.chunks.count({" files id" : ObjectId("4d606588238d3b4471000001")}) 
8 
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有 本 块 大 小 和 文件 总 大 小 ， 应 该 能 算出 有 八 个 块 。 你 还 可 以 方便 地 看 到 块 本 号 的 内 容 。 与 之 
前 一 样 ， 要 排除 数据 以 保持 输出 易于 阅读 。 以 下 查询 会 返回 八 个 块 中 的 第 一 个 块 ，n 的 值 标识 了 





> 吕 
已 的 序号 : 
> db.fs.chunks.findOone({files id: ObjectId("4d606588238d3b4471000001")}， 
{data: 0}) 
{ 
_id" : ObjectId("4d606588238d3b4471000002")， 
n O, 


"files_id" : ObjectId("4d606588238d3b4471000001") 
} 


读 取 GridFS 文 件 就 和 写 入 一样 方便 。 在 下 面 的 例子 里 ， 使 用 Gridq#get 返 回 一 个 类 似 Io 的 
cridqIo 对 象 ， 表 示 该 文件 。 然 后 就 能 将 GridFS 文 件 用 流 的 方式 写 回 文件 系统 ， 这 里 每 次 读 取 
256 KB 写 人 原始 文件 的 副本 中 : 

jmage _ 10 = @Qgrid.get (file 1d) 


Co ef Tonmm TT nen FIL can om co oo 
copy = File.open(copy_filename, "w'") 


while !image io.eof? do 
copy .write(image io.read(256 * 1024)) 
end 


copy.close 
随后 可 以 验证 一 下 ， 两 个 文件 是 一 样 的 : ” 


Ss diff -s canyon.jpg canyon-copy.Jpg 
Files canyon.jJpg and canyon-copy.Jpg are identical 


以 上 就 是 通过 驱动 谈 写 GridFS 文 件 的 基本 操作 。 不 同 的 GridFS API 之 间 稍 有 不 同 , 但 有 了 上 
面 的 例子 和 关于 GridFS 工 作 原 理 的 基本 知识 ， 理 解 你 所 用 驱动 的 文档 应 该 不 成 问题 。 

















C.2.2 通过 mongofiles 操 作 GridFS 


MongoDB 发 行 包 里 包含 了 一 个 非常 实用 的 工具 ,名 为 nongofiles, 它 可 以 在 命令 行 里 罗列 、 
提交 、 获 取 和 删除 GridFS 文 件 。 例 如 ， 你 可 以 列 出 images 数 据 库 里 的 GridFS 文 件 : 


S mongofiles -Q images list 
connected to: 127.0.0.1 
Canyon.Jpg 2004828 


你 还 可 以 方便 地 添加 文件 ， 下 面 演示 如 何 添 加 刚才 用 Ruby 脚 本 写 入 的 图 像 文件 副本 : 


S mongofiles -d images put canyon-copy .JjJpg 

connected to: 127.0.0.1 

added file: { _id: ObjectIid('4d61783326758d4e6727228f£'),， 
filename: "canyon-copy.jpg", 
chunkSize: 262144, uploadDate: new Date(1298233395296)， 
md5: "9725ad463b646ccbd287be87cb9blf6e", length: 2004828 } 








由 这 段 代码 假设 你 已 经 安装 了 diff 工 具 。 
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可 以 再 次 查看 文件 列表 ， 验 证 一 下 文件 是 否 已 写 人 : 
S mongofiles -d images list 

Connected to: 127.0.0.1 

Canyon.Jpg 2004828 

Canyon-copy.jpg 2004828 





mongofiles 支 持 不 少 选 项 ， 而 你 可 以 通过 --help 参 数 查 看 这 些 选 项 : 


S mongofiles --help 


231 


CE 


在 PHP、Java 与 C++ 中 
使 用 MongoDB 





本 书 透 过 JavaScript 和 Ruby 的 视角 来 展示 MongoDB ,但 是 还 有 很 多 与 MongoDB 通 信 的 其 他 方 
式 ， 本 附录 就 会 展示 其 中 的 三 种 。 我 会 先 从 PHP 开 始 ， 因 为 它 是 流行 的 脚本 语言 。 包 含 Java 是 
为 它 仍 是 企业 开发 领域 的 霸主 ， 对 本 书 的 很 多 谈 痢 而 言 很 重要 。 而 且 ，Java 驱 动 的 API 与 大 多 数 
脚本 语言 驱动 的 API 差 别 很 大 。 最后, 摆 出 C+ 驱动 是 因为 它 是 MongoDB 代 码 中 的 一 块 核心 部 分 ， 
对 于 那些 想 要 构建 高 性 能 独立 应 用 程序 的 开发 者 而 言 很 可 能 非常 有 用 。 

每 个 声言 的 小 六 中 ， 我 都 会 描述 如 何 构造 文档 、 建 立 连接 ， 最 后 演示 一 个 完整 的 程序 ， 它 可 
以 插入 、 修 改 、 碍 询 和 删除 示例 文档 。 所 有 的 程序 都 会 执行 相同 的 操作 , 产生 相同 的 输出 ， 因 此 
很 容易 进行 比较 。 每 个 程序 里 的 文档 都 是 一 个 简单 Web 息 虫 要 保存 的 示例 文档 ; 下面 是 用 JSON 
表示 的 文档 ， 仪 供 参 考 : 









































{ url: "org.mongodb", 
tags: ["database'", "open-source"], 
attrs: { "last-visit" : ISODate("2011-02-22TO5:18:28.7402Z"),， 
"pingtime" : 20 
} 
} 
D.1 PHP 





PHP 社 区 热情 地 接纳 了 MongoDB, 并 提供 了 高 质量 的 驱动 作为 回馈 。 示例 代码 看 上 去 和 等 价 
的 Ruby 代 人 码 基 本 上 是 相似 的 。 


D.1.1 文档 


PHP 的 数组 是 由 有 序 字 典 ( ordered dictionary ) 来 实现 的 , 因此 能 很 好 地 映射 到 BSON 文 档 上 。 
可 以 使 用 PHP 的 array 按 照 文 档 的 字面 内 容 创建 一 个 简单 的 文档 : 

en 

PHP 的 数组 也 可 以 相互 藤 套 。 以 下 这 个 复杂 文档 包含 一 个 标签 数组 和 一 个 子 文档 , 子 文档 中 
华 有 日 期 last_access 和 整数 pingtime。 请 注意 , 你 必须 使 用 特殊 的 MongoDate 类 来 表示 日 期 : 
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SO ariayv (Pr => "Oorg.mongodb", 
"tags" => array( "database", "open-source"),, 
"attrs" => array( "last access" => new MongoDate(), 


"pingtime" => 20 
) 


可 以 通关 过 Mongo 构 造 兹 连 车 接 到 单个 市 





Sconn = new Momngo ( "localhost", 27017 ); 
要 连接 副本 集 ， 就 为 Mongo 构 造 器 传人 一 个 MongoDB 连 接 URI， 同 时 还 要 指定 arravy 
( "replicaSet" => true ): 


Srepl_ conn = new Mongo( "mongo://localhost:30000,1localhost:30001", 


array( "replicaSet" => true )); 


MongoDB 连 接 URI 
MongoDB 连 接 URI 是 在 不 同 驱动 间 指 定 连接 选项 的 标准 方式 。 大 多 数 驱动 都 会 接受 连接 


URI, 这 对 跨 环 境 访问 MongoDB 服 务 器 的 系统 而 言 可 以 简化 配置 。 请 访问 官方 的 线 上 MongoDB 
文档 以 了 解 最 新 的 URI 规 范 。 








通常 PHP 应 用 程序 使 用 持久 化 连接 时 性 能 会 更 好 。 如 果 要 使 用 持久 化 连接 ， 请 确保 添加 了 
artay( "persistent" => "x"” )， 其 中 "x" 表 示 所 创建 的 持久 化 连接 的 唯一 标识 符 : 


Sconn = new Mongo ( "Localhost"，27017，arrayl( "persist" => "X" ) )， 


D.1.3 示例 程序 


以 下 PHP 程 序 演示 了 如 何 插 和 入、 更新、 查询 和 删除 一 个 文档 ， 同 时 还 包含 了 儿 个 PHP BSON 

文档 的 表述 。 

代码 清单 D-1 _ PHP 驱动 的 用 法 示例 
<?Dhp 


Sm oe MOongeo 人 ee ae ,270 0) 
Sdb = Sm->crawler:; 
Scoll = Sdb->sites; 


Ssdoc 三 darray( "Hr1" => "org.mongodb", 
"tage'" => array( "database", "Open=eOurece")., 
"attrs" => array( "last access" => new MomndoDate ( ) ， 
pingtime" => 20 


) 
7 


Scoll->insert( S$doc ) ; 
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BEINt "Titidal doGument 
Brint Print. r( Sdoe ): 


print "Updating pingtime...n",， 
Scoll->update ( 
array( 1d > Sgdqoel dl ) 
array( 'Sset' => array( 'attrs.pingtime' => 30 ) ) 


本 


Print "After update:n"; 
Scursor = ScCcoll->fingd().; 
Print print r( Scursor->getNext() ); 


Print "nNumber of site documents: " . S$Scoll->count() . "n",， 


Print "Removing documents...n"; 
Scoll->remove (); 
?> 


D.2 Java 


在 众多 MongoDB 豫 动 之 中 ，Java 驱 动 也 许 是 在 生产 环境 里 使 用 最 频繁 的 一 个 。 除 了 后 台 是 
纯 Java 的 应 用 之 外 ，Java 驱 动 也 是 各 种 JVM 语 言 驱动 的 基础 ， 比 如 Scala、Clojure 和 JRuby。Java 
中 缺乏 按 字面 义 表示 的 字典 , 这 让 BSON 文 档 的 构建 略 显 复杂 , 但 就 整个 驱动 而 言 , 使 用 起 来 还 
算 方 便 。 





D.2.1 文档 


要 构造 BSON 文 档 , 可 以 初始 化 一 个 BasicBSONObject 实 例 , 它 实 现 了 Map 接 口 , 围绕 get () 
和 put () 操作 提供 了 一 套 简 单 的 API。 

方便 起 见 ，BasicBSoNObJject 构 造 融 接受 一 个 可 选 的 初始 化 键 值 对 ， 用 它 就 能 构造 一 个 简 
单 的 文档 ， 比 如 像 下 面 这 样 : 


DBObject simple = new BasicDBObject( "username", "Jones" ) ， 
simple.put( "zip", 10011 ); 


添加 子 文档 总 味 着 创建 一 个 额外 的 BasicBSONObj ect, 其 中 的 数组 束 是 通 Java 数组 : 


DBObject doc = new BaslcDBObJect () ; 
String[] tags = { "database", "open-source" }; 











doc.put ("url", "org.mongodb").， 
加 cout age aos) 


Ds 


x oe a QC 一 QC 人 
UL LU [sw TEW DASLl 
nn 


attrs.putl( JastAccess", new Date 
| 


aEtrese ou ( "OINnNoGtrme. N20) 
doc.put( "attrs", attrs ); 


System.out.println( doc.tostring() ); 


最 后 请 注意 你 可 以 通过 文档 的 tostring() 方 法 来 查看 它 
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D.2.2 ”连接 
创建 一 个 单 节点 连接 是 件 很 容易 的 事情 ， 只 要 记得 把 调用 封装 在 一 个 try 代 码 块 里 就 行 了 : 


try 1 
Mongo conn = new Mongo ("localhost", 27017); 














} catch (Exception e) { 
throw new RuntimeException(e); 


} 
要 连接 副本 集 ， 先 构造 一 个 serverAddress 对 象 列表 ,将 它 传 给 Mongo 构 造 紫 : 


List servers = new ArrayList(); 
servers.add( new ServerAddress( "localhost" , 30000 ) ); 
servers.add( new ServerAddress( "localhost" , 30001 ) );， 
try nl 

Mongo replConn = new Momndo ( servers ) ; 


} catch (Exception e) { 
throw new RuntimeException(e); 


} 

Java 张 动 中 为 写 关 注 提供 了 灵活 的 支持 ， 可 以 在 Mongo、DB、DBCollection 对 和 象 以 及 
DBCollection 的 任意 写 方 法 上 指定 不 同 的 写 关 注 。 这 里 我 们 通过 writeconcern 配 置 类 在 连接 
上 指定 了 全 局 写 关 注 : 


WriteConcern WwW = new WriteConcern( 1, 2000 );， 























conn.setWriteConcern( w ): 


D.2.3 示例 程序 
下 面 这 段 Java 程 序 直接 翻译 了 先前 的 PHP 程 序 ， 应 该 没什么 看 不 懂 的 地 方 : 


ijmport com.mongodb.Mongo; 

import com.mongodb.DPE; 

import com.mongodb.DBCollection; 
import com.mongodb.BasicDBObject,; 
import com.mongodb.DBObject; 
import com.mongodb.DBCursor; 


: : 
-maT AAmMm MANMAAAD WritoaNANAMAATM,: 
二 LI LU 《AIL。LLICOLTC AL 。 上 虐 工 LS 二 AI 二 上 上 上 L7 


import java.util.Date; 
public class Sample { 
public static void main(String[] args) { 


Mongo conn; 
Ey 

Conn = new Mongo ("localhost", 27017); 
} catch (Exception e) { 

throw new RuntimeException (e); 


' 


WriteConcern w = new WriteConcern( 1, 2000 );， 
conn.setWriteConcern( w ); 


DB db = conn.getDB( "crawler" ) ; 
DBCollection coll = db.getCollection( "sites" )， 
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DBObject doc = new BasicDBObject().; 
String[] tags = { "database", "open-source" }; 


doc puE Cr ora mongodD.)s 
doc.put ("tags", tags); 


DBObject attrs = new BasicDBObject(); 
attrs.put( "lastAccess", new Date() ); 
attrs.put( "pingtime", 20 );，; 


doc.put( "attrs", attrs );} 
coll.insert (doc); 


System.out.printijn( "Initial document:n" ); 
System.out.println( doc.toString() ); 


System.out.printiln( "Updating pingtime...n" );} 
coll.updatel( new BasicDBObject( " id", doc.get(" id") )， 
new BasicDBObject!( "sset", new BasicDBObject!( "pingtime", 30 ) ) );， 


DBCuUursor cursor = coll.find(): 


System.out.println( "After updaten" );， 


System.out .Println( cursor.next() .toString() ); 
System.out.printiln( "Number of site documents: " + Coll.count() ); 
System.out.printiln( "Removing documents...n" );， 


colL1 .remove( new BasicDBObject() ); 


D.3 C++ 


推荐 C++ 驱动 的 原因 有 两 点 ， 其 一 是 速度 ， 其 二 是 它 与 核心 服务 顺 关 系 密 切 。 你 兆 望 找到 更 
快 的 驱动 , 而 且 如 条 对 MongoDB 的 内 部 实现 感 兴趣 , 学 习 C++ 驱 动 是 了 解 源 代码 的 一 个 不 错 的 切 
入 点 。C++ 驱 动 并 非 独 立 的 驱动 ， 而 是 作为 构成 内 部 MongoDB API 所 必须 的 代码 混在 核心 代码 之 
中 。 但 是 ， 也 有 办 法 将 这 些 代 码 用 作 独 立 的 库 。 

















D.3.1 文档 


在 Ct+ 中 有 两 种 创建 BSON 文 档 的 途径 。 可 以 使 用 有 些 见 长 的 BSONObjBuilder， 也 可 以 用 
封 汉 了 它 的 BSON 宏 。 我 会 针对 每 个 示例 文档 分 别 演示 这 两 种 方式 。 

让 我 们 先 从 一 个 简单 的 文档 入 手 : 

BSONObjBuilder simple; 


simple.genOID() .append ("username", "Jones") .append( "zip", 10011 ); 
BSONOb]J] doc = simple.obj(); 


Cout << doc.jsonSsString(); 
请 注意 , 你 显 式 地 使 用 getoID() 图 数 生 成 了 对 象 ID。C++ 的 BSON 对 象 是 静态 的 , 这 意味 着 
插入 函数 不 能 像 在 其 他 驱动 中 那样 修改 BSON 对 象 。 如 采 想 要 在 搬 人 后 取得 对 象 ID ， 你 需要 目 己 
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还 要 注意 你 必须 在 使 用 前 将 BSONObjBuilder 转 换 为 BSONObj。 可 以 通过 调用 BSONObj- 
Builder 的 opj () 方 法 进行 转换 。 
现在 ， 让 我 们 使 用 辅助 安 来 生成 相同 的 文 要 ，BSoN 和 GENOID 能 让 你 少 打 不 少 字 


BSONOb]J] Oo = BSON( GENOID << "username" << "Jones" << "zip" << 10011 ) ， 
COUL << o.jJjsonSstring().,; 


构造 更 复杂 的 文档 会 让 人 想起 Java， 你 必须 分 别 构 造 每 个 子 对 象 。 请 注意 ， 你 是 通过 标准 的 
BSONObJjBuildezr 来 构建 数组 的 ， 只 是 在 其 中 使 用 了 数字 字符 标志 0 和 1。 事 实 上 ，BSON 中 也 是 




















这 样 保存 数组 的 : 
BSONObjBuilder site; 
site.genOoID() .append ("url", "org.mongodb"); 
BSONObjBuilder tags; 
tags.append("0", "database").,， 
tags.append ("1", "open-source").,; 


site.appendArray( "tags", tags.obj() ); 


BSONObjBuilder attrs; 

time t now = time(0).; 

attrs.appendTimeT( "lastVisited", now ); 
attrs.append( "pingtime", 20 ); 

aite. append!( "attres", dttre obT() ); 


BSONOb]J] site _ obj = site.obj().; 
和 之 前 一 样 ， 为 了 使 代码 更 人 简洁， 你 更 青睐 于 使 用 宏 。 要 特别 注意 BSON_ARRAY 和 DATENOW 
这 两 个 宏 ， 关注 它们 蔡 换 的 BSONObjBuilgder 版 本 所 构造 出 的 文档 : 


BSONOb]J] site concise = BSON( GENOID << "url" << "org.mongodb" 
<< "tags" << BSON ARRAY( "database" << "open-source" ) 
<< "attrs" << BSON( "lastVisited" << DATENOW << "pingtime" << 20 ) ); 


唯 独 C++ 里 有 一 个 要 求 : 必须 显 式 地 标记 用 作 查 询 选 择 右 的 BSON 文 档 。 一 种 实现 方式 是 使 





Wa os 
用 Query () 构造 套 : 
BSONOb]J] selector = BSON( " id" << 1 );，; 
Query * dl = new Query!( selector ); 
cout << ql->toString() << "n"，; 


同样 的 ， 方 便 的 QUERY 宏 一 般 会 更 受理 睐 : 
Query G2 = QUERY( "pingtime" << LT << 20 ),， 
COUt << gq2. toStrindg() < "Nn": 


D.3.2 ”连接 











可 以 方便 地 实例 化 一 个 DBCl1ientconnection 创 建 单 节 点 连接 , 并 且 始 终 将 代码 封装 在 try 
代码 块 里 : 


DBClientConnection conn; 


try 1 
conn.connect ("localhost:27017"); 


} 
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catch!( DBException &e ) { 
cout << "caught " << e.what() << endl; 


} 


连接 副本 集 ， 先 要 构建 一 个 包含 HostAndPort 对 象 的 vector， 然 后 将 副本 集 的 名 字 以 及 
vector 一 起 传 给 DBCl1ientReplicaSet 构 造 关 。 可 以 调用 tostring () 来 检查 对 和 象 的 内 容 : 


std: :vector<HostAndPort> seeds (2);， 
seeds.push back( HostAndPort( "localhost", 30000 ) ); 
seeds.push back( HostAndPort( "localhost", 30001 ) ); 


DBClientReplicaSet repl conn( "myset", seeds )， 
Gr 
repl conn.connect().; 
catch!( DBException &e ) { 
cout << "caught " << e.what() << endl; 


} 


Cout << repl_ conn.toSstring!().; 


D.3.3 示例 程序 


在 C++ 代 码 示例 中 ， 主 要 注意 到 一 点 ,没有 明确 的 类 来 抽象 数据 库 和 和 集合。 所 有 的 插入 、 更 
新 、 查 询 和 删除 都 直接 通过 连接 对 和 象 本 号 来 执行 。 你 以 命名 空间 的 形式 ( crawler.sites) 来 
指定 数据 库 和 和 集合， 将 它 作 为 这 些 方法 的 第 一 个 参数 : 

#include <iostream> 


i#¥#include <ctime> 
tinclude "client/dbclient.h" 














USindg nam 


SACGE ™TMONOQO: 
OiL I + OM J 


ILL/LiL 了 


Int main() { 
DBClientConnection conn; 


try { 
conn.connect ("localhost:27017"); 


} 


catch( DBException &e ) { 
ww 了 于 一 一 I a rb 二 n 一 一 ws Re 一 一 | 
CG 人、 必 坟 USOLLL ~ CWlldUL\) Ss lly 


} 


BSONObj doc = BSON( GENOID << "url" << "org.mongodb" 
<< "tags" << BSON ARRAY( "database" << "open-source" ) 
<< "attrs" << BSON( "lastVisited" << DATENOW << "pingtime" << 20 ) ); 


cout << "Initial document:n" << doc.jsonSstring() << "Nn"; 
conn.insert!( "crawler.sites'", doc ); 

cout << "Updating pingtime...n"; 

BSONObJ update = BSON( "SSset" << BSON( "attrs.pingtime" << 30) );， 
conn.update( "crawler.sites", QUERY("_ id" << doc[" id"]), update):; 


cout << "After update:n",， 
auto ptr<DBClientCursor> cursor,; 
CUESOr = QOnm uery( earawler ertes OUERY( Td << doct eno) 
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cout << cursor->next() .jsonString() << "nNn"; 
cout << "Number of site documents: " << 
Conn.count!( "crawler.sites" ) << "nNn"， 
Cout << "Removing documents...n".; 
Conn.remove!( "crawljer.sites'", BSONObP]J() ); 


return 0; 





空间 索引 





随 着 智能 移动 设备 的 增长 , 对 基于 位 置 服务 的 需求 正 稳步 提升 。 要 构建 这 些 与 位 置 相关 的 应 
用 程序 ， 数 据 库 需要 能 索引 并 查询 空间 数据 。 这 些 特 性 很 早 就 加 入 了 MongoDB 的 线路 图 ， 虽 说 
MongoDB 的 空间 索引 (spatial indexing ) 还 没有 达到 PostGIS 这 种 完整 的 功能 , 但 已 经 可 以 支撑 许 
多 流行 站 点 的 位 置 查 询 了 。"™ 

正如 其 名 所 示 ， 空 间 索 引 针 对 表示 位 置 的 数据 进行 了 优化 。 在 MongoDB 中 ， 这 类 数据 通常 
表示 为 地 理 坐 标 系 中 的 经 度 和 纬度 ,其 上 的 空间 索引 允许 基于 用 户 的 位 置 进行 查询 。 例 如， 你 有 
一 个 集合 ， 其 中 包含 了 纽约 城 ( New York City ) 中 每 家 餐厅 的 荣 单 数据 和 坐标 ， 有 了 矢 厅 位 置 的 
索引 , 你 就 可 以 查询 数据 库 , 找到 离 布 鲁 元 林 大 桥 ( Brooklyn Bridge ) 最 近 的 提供 鱼子 效 的 和 餐厅。 

而 且 , 空间 索 引 玫 足 够 通用 ,是 以 适用 于 地 球 坐 标 以 外 的 场景 。 也 就 是 说 ,你 甚至 可 以 用 它 
来 索引 二 维 坐标 平面 或 者 是 火星 上 的 位 置 。 “无论 什么 样 的 场景 ， 空 间 索 引 都 相对 容易 构建 与 查 
询 。 此 处 我 会 描述 如 何 构 建 空 间 索 引 、 可 执行 的 查询 的 范围 ， 以 及 一 些 内 部 设计 细 闻 。 


E.1 空间 索引 基础 知识 


我 们 将 使 用 美国 邮政 编码 数据 库 来 演示 MongoDB 的 空间 索引 ， 你 可 以 从 http://mng.bz/dOpd 
获得 该 数据 。 对 压缩 包 解 压 之 后 ， 就 能 得 到 一 个 JSON 文 件 ， 可 以 通过 mongoimport 将 其 导入 
MongoDB， 就 像 这 样 : 

















$ mongoimport -d geo -cc zips Zips.jJson 
让 我 们 先 看 一 个 邮编 文档 ， 如 果 按 照 导 入 指南 操作 ， 应 该 能 像 下 面 这 样 获取 文档 : 


> USe geo 

> aqb.zlps.findonel({zlp: 10011}) 

{ 

"_id" : ObjectId("4d291187888cec7267e55d24")， 
We Or 





J 其 中 最 著名 的 就 是 Foursquare( http://foursquare.com )。 从 http://mng.bz/rh4n 可 以 了 解 到 更 多 Foursquare 使 用 MongoDB 
的 情况 。 

@) 前 者 有 一 个 很 好 的 例子 一 一 WordSquared( http://wordsquared.com ), 这 是 一 个 类 似 Scrabble 的 游戏 ,使 用 了 MongoDB 
的 空间 索引 对 棋盘 上 的 格子 进行 查询 。 





附录 下 空间 索引 241 


eye { 
"Or -3.0996 
"lat" : 40.7402, 
和 
"state" : "New York", 
Zone T0011 


除了 期 望 中 的 城市 、 州 和 邮编 字段 ， 还 有 第 四 个 字段 loc， 其 中 保存 了 指定 邮编 地 区 的 地 理 
中 心 坐标 ,这 就 是 你 想 索 引 并 查询 的 字段 。 只 有 那些 包含 了 坐标 值 的 字段 能 进行 空间 索引 , 但 请 
注意 ， 字 段 的 形式 并 不 算 太 严格 。 你 可 以 使 用 不 同 的 键 来 表示 这 些 坐 标 : 

















ea 
或 者 用 简单 的 数组 对 : 
Ed 








只 要 使 用 了 其 中 包含 两 个 值 的 于 文档 或 者 数组 ， 这 样 的 字段 就 能 进行 空间 索引 。 
现在 来 创建 索引 ， 将 索引 类 型 指定 为 2d: 


> Use geo 
> db.zips.ensureIndex({l1oc: '2d'}) 


这 会 在 loc 字 段 上 构建 出 一 个 空间 索引 。 只 有 那些 包含 恰当 格式 坐标 对 的 文档 会 被 索引 ， 因 
此 空间 索引 总 是 黎 瑰 的 。 上 默认 的 最 小 和 最 大 坐标 值 分 别 是 -180 和 180。 这 是 地 理 坐 标的 范围 ,但 
如 拉 正 好 在 索引 一 个 不 同 的 领域 ， 可 以 像 下 面 这 样 设置 最 小 值 和 最 大 值 : 


> use games 
> db.moves.ensureIndex({1]oc: '2d'}, {min: 0, max: 64}) 


一 旦 构建 好 了 空间 索引 ， 就 能 执行 空间 查询 了 。 "最 简单 上 且 最 常用 的 空间 查询 类 型 是 snear 
查询 。 当 与 1imit 连 用 时 ，snear 查 询 人 允许 查找 离 指定 坐标 第 z 近 的 位 置 。 例 如 ， 要 找到 三 个 离 
大 中 央 和 车 站 (Grand Central Station ) 最 近 的 邮编 ， 可 以 发 起 如 下 查询 : 






































> db.zips.find({'loc': {Snear: [ -73.977842，40.752315 ]}}).l1imit(3) 

{ " id" : ObjectId("4d291187888cec7267e55d8d"), "city" : "New York City", 
oe {Wom := /3 9976 "La AO. /SLO 
"state" : "New York", "zip" : 10168 } 

{ "_id" : ObjectId("4d291187888cec7267e55d97"), "city" : "New York City", 
re 
"state" : "New York", "zip" : 10178 } 

{ "_id" : ObjectId("4d291187888cec7267e55d8a"), "city" : "New York City", 
ie 
"state" : "New York", "zip" : 10165 } 








指定 一 个 合理 的 1imit 值 能 确保 最 快 的 查询 响应 时 间 。 如 果 不 做 限制 ， 那 么 会 自动 将 limit 
值 设置 为 100， 这 样 可 以 避免 返回 整个 数据 集 。 如 果 要 求 返 回 超过 100 个 结果 ， 可 以 为 1imit 指 定 
一 个 数字 : 


> db.zips.find({"loc': {snear: [ =73.977842,; 40.752315 1}}).11imit(500) 





中 注意， 空间 查询 与 非 空 间 查 询 截 然 不 同 ， 它 能 在 查询 时 指定 用 或 者 不 用 索引 。 





242 附 孙 上 瑟 


E.2 高 级 查询 


空间 索引 


SY 
一 








虽然 Snear 查 询 适 用 于 很 多 场景 ,但 MongoDB 还 提供 了 一 些 更 高 级 的 查询 技术 。 你 可 以 运 
行 名 为 geoNear 的 特殊 命令 来 取代 查询 ， 它 会 返回 附近 每 个 对 象 的 距离 以 及 查询 本 刁 的 一 些 统 


计 信 息 : 


> db.runCommand ({'geoNear': 


i 
"near" 
resuwlte. :Hl 


. 


TS 


Da 本 
下 二 加， 
Le ty 
lois 
"lon" 
se 
I 
"state" 


nz1o" 
Zip 


hn 
) 
2 


n Ob] n 。 { 
: ObjectId("4d291187888cec7267e55d97")， 


13 
GT 
wlioie 
vomy 
vaty 
"state" 
"zip" 


} 
jl 
Statsr .dq 
"七 Imen Ok 
"btrecloces! 


"nscanned" 


"maxDistance" 


六 
noe 
} 








'Z1ips', near: [-73.977842, 40.752315], num: 2}) 


"geo.Zips", 
"OTT1O0000111011010011111010110010011001111111011011100",， 


001121663764459287,，, 


: ObjectId("4d291187888cec7267e55d8qd")， 


"New York City", 
{ 

-73.9768,， 
-40.7519 


"New York", 


hs Wd he Wd A 


"New York City", 
{ 

70S 
: 40.7514 


"New York", 
10178 


; 4， 


2 
"objectsLoaded" 
"avgDistance" 


se 
0.001124255408035117,， 
0.001126847051610947 





每 个 文档 中 的 ai s 字 段 用 来 测量 它 与 中 心 点 的 距离 ， 这 里 的 距离 是 用 度数 来 测量 的 。 











另 一 个 稍微 高 级 点 的 查询 ， 人 允许 通过 switnhin 查 询 操作 符 来 搜索 特定 边界 内 的 结果 。 例 如 ， 





要 查找 所 有 离 大 中 央 车 站 在 0.011 度 范围 内 的 邮编 ， 可 以 发 起 如 下 scenter 查 询 : 
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> center [73.977842, 40.7152315|] 








> radius OO 
> db.zips.find({loc: {Swithin: {S$Scenter: [ center, radius |] }}}) .count!() 
26 
这 在 理论 上 等 价 于 运行 市 有 可 选 的 smaxDistance 人 参数 的 Snear 查 询 。 条 查询 都 能 
离 中 心 点 指定 距离 内 的 所 有 结 
> db.zips.find({'loc': {Snear: [-73.977842, 40.752315],， 
SmaxDistance: 0.011}}) .count ( ) 
26 


除了 scenter 操 作 ， 还 可 以 使 用 sbox 操 作 符 来 返回 特定 包围 盒 (bounding box ) 内 的 结 
例如 ， 要 返回 大 中 央 车 站 和 拉 瓜 地 亚 机 场 ( LaGuardia Airport ) 包围 盒 内 的 所 有 邮编 ， 可 以 发 起 


如 下 查询 : 
> LOWwer Jeft = [=s73.977842; 40%752315] 
> upper right = [-73.923649, 40.762925] 
> db.zips.find({ljoc: {Swithin: 
{Sbox: [ lower_ left, upper right ] }}}) .count() 
15 


请 注意 ，spox 操 作 符 要求 有 一 个 双 元 素数 组 ， 第 一 个 元 素 是 包围 盒 的 左下 角 坐标 ， 第 二 个 
元 素 是 右上 角 坐 标 。 


E.3 复合 空间 索引 


可 以 创建 复合 空间 索引 ， 只 要 坐标 键 放 在 第 一 位 即 可 。 你 可 以 使 用 复合 空间 索引 来 对 位 置 和 
其 他 一 些 类 型 的 元 数据 进行 查询 。 人 举例 来 说 ， 假 设 本 书 之 前 介绍 的 园艺 店 有 不 同 的 零售 店 位 置 ， 
不 同 的 店 提 供 不 同 的 服务 。 两 个 位 置 文档 片段 可 能 是 这 样 的 : 

















(LE [=74.2,. A40.3],. Serviees: [nuresery',. 'rentale.]} 
ee 

为 了 对 两 个 位 置 和 服务 进行 高 效 查 询 ， 可 以 创建 如 下 复合 索引 : 

> db.locations.ensureIndex({loc: '2d', services: 1}) 

这 让 对 所 有 销售 再 轩 的 零售 店 的 碍 找 稍 显 烦琐 了 : 

> db.locations.find({loc: [-73.977842, 40.752315], services: 'nursery'}) 








关于 复合 空间 索引 , 除 此 之 外 没有 其 他 的 了 。 如 果 你 还 心 存疑 虑 ,不 知 复合 空间 索引 对 你 的 
应 用 程序 而 言 是 否 足 够 高 效 ， 请 试 着 在 相关 查询 上 运行 explain ()。 


E.4 球面 几何 学 


目前 为 止 , 我 所 描述 的 所 有 空间 查询 中 都 使 用 了 局 平 的 地 球 模 型 来 进行 距离 计算 。 尤 其 是 数 
据 库 使 用 了 欧 几 里 德 距离 (Euclidean distance ) "来 确定 两 点 间 的 距离 。 对 于 很 多 场景 而 言 ， 包括 























GD 参见 http://en.wikipedia.org/wiki/Euclidean distance。 
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查找 距 指 定点 最 近 的 n 个 位 置 ， 这 是 完全 可 接受 的 ， 数 学 的 简单 性 保证 了 最 快 的 查询 结果 。 

但 现实 中 ， 地 球 大 至 上 是 球形 的 。" 这 意味 着 欧 几 里 德 距离 计算 变 得 越 来 越 不 精确 ， 因 为 两 
点 间 的 距离 变 大 了 。 为 此 ，MongoDB 也 支持 基于 二 维 球 状 模型 进行 踢 离 计算 。 这 些 查 询 会 得 到 
更 准确 的 距离 ， 只 是 会 有 稍 许 性 能 开销 。 

要 使 用 球面 几何 学 ， 你 只 需 保 证 所 有 坐标 都 是 按照 经 度 -纬度 顺序 排列 ， 所 有 距离 都 是 用 弧 
度 来 表示 的 。 之 前 的 大 多 数 查 询 都 可 以 表示 为 球面 形式 。 例如 ，Ssnearsphere 就 是 Snear 的 球面 
等 价 形式 ， 表 示 如 下 : 























> db.zips.find({'loc': {SnearSphere: [ -73.977842, 40.752315 ]}}).l]imit(3) 
geoNear 命 令 还 支持 球面 计算 ， 融 上 f spherical: true } 选项. 
> db.runCommand ({'geoNear': 'zZips', 
near: [-73.977842, 40.752315], num: 2, spherical: true}) 
最 后 ， 可 以 使 用 球面 距离 ， 通 过 Scentersphere 对 一 个 圈 进 行 查询 。 只 要 保证 在 指定 半径 
Center = YY 907 72427 40~ /7/5231.5] 
radius_ in degrees = 0.11 
radius_ in radians = radius in degrees * (Math.PI / 180); 
db.zips.find({loc: {Swithin: 
{ScenterSphere: [center, radius in radians ] }}}) 


QD 大体 上 来 说 ， 地 球 严格 上 是 扁 球面 的 ， 在 杰 道 上 有 点 凸 起 。 








ET 四 灵 程 序 设计 从 书 


权威 指南 


MongoDB: The Definitive Guide 


[ 美 ] Kristina Chodorow & Michael Dirolf 车 
Jeremy Zawodny 序 
程 显 峰 译 


POSTS & TELECOM PRESS 


O’REILLY” 多 人 民 邮 电 出 版 社 


ET 图 灵 程 序 设计 从 书 


Scaling MongoDB 
50 Tips and Tricks for MongoDB Developers 


[ 美 ] Kristina Chodorow 著 
巨 成 程 显 峰 译 


O'REILLY" 人 民 邮 电 出 版 社 


POSTS & TELECOM PRESS 














“作者 是 10gen 的 人 ， 对 所 有 细节 都 了 如 指 掌 。 读 这 本 书 ， 就 好 像 

跟 一 位 领域 专家 对 话 ， 一 切 都 讲 得 那么 简洁 明了 ， 浅 显 易 懂 。 所 有 
MongoDB 用 户 都 应 该 看 一 看 。” 

“与 市 面 上 其 他 同类 主题 的 书 相 比 ， 这 本 书 是 最 好 的 。” 

马 壹 








读者 评论 





MongoDB 是 为 处 理 大 数据 而 生 的 一 款 面向 文档 的 数据 库 ， 由 10gen 
公司 开发 和 维护 。 本 书 作 者 Kyle Banker 曾 在 该 公司 负责 MongoDB 驱 动 
程序 的 维护 ， 对 各 方面 技术 细节 都 了 如 指 掌 ， 本 书 也 是 在 大 量 第 一 手 资 
料 的 基础 上 形成 的 ， 其 权威 性 母 庸 置疑 。 

本 书 基于 MongoDB 2.0+， 全 面 系统 地 讲解 了 设计 、 实 现 、 安 装 和 
维护 MongoDB 的 各 方面 内 容 。 全 书 分 三 部 分 ， 第 一 部 分 从 基于 文档 的 
数据 与 传统 关系 型 数据 库 的 差别 讲 起 ， 介 绍 了 MongoDB 的 基本 概念 及 
安装 使 用 。 第 二 部 分 是 一 个 实战 式 教 程 ， 结 合 示 例 讲 解 了 MongoDB 的 
CRUD 操 作 ， 以 及 实现 系统 安全 、 灵 活 和 高 效 的 设计 原则 及 模式 。 第 三 
部 分 侧重 数据 库 的 维护 和 管理 ， 深 入 到 MongoDB 背 后 的 技术 细节 ， 给 
出 了 对 管理 员 和 开发 者 都 极 有 价值 的 建议 。 

本 书 篇 幅 适 中 ， 内 容 深浅 得 当 ， 文 字 通 俗 易 懂 ， 再 配 以 直观 形象 的 
插图 和 贴近 实战 的 代码 示例 ， 非 常 适合 MongoDB 学 习 者 、 开 发 人 员 及 
管理 员 学 习 参 考 。 
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,Velalele] BS): Fat | 

@ 使 用 MongoDB 的 简单 应 用 

@@ 如 何 通过 以 文档 为 中 心 的 方式 看 待 数据 
@ 编写 查询 ， 以 MapReduce 方 式 聚 合 数据 
@ 更 新 和 删除 数据 及 相关 性 能 考量 

@ 寻找 和 改进 慢 查 询 

@ MongoDB 的 复制 与 分 片 

@ MongoDB 的 监控 、 备 份 及 恢复 


N S77= NI 3 


Pan np 1 opr 
定价 : 59.00 元 





最 前 沿 的 IT 类 电子 书 发 售 平 合 


电子 出 版 的 时 代 已 经 来 临 。 在 许多 出 版 界 同行 还 在 犹 
耶 入 得 的 时 候 ， 图 灵 社 区 已 经 采取 实际 行动 拥抱 这 个 
出 版 业 巨 变 。 作 为 国内 第 一 家 发 售 电子 图 书 的 IT 类 出 
版 商 ， 图 灵 社 区 目前 为 读者 提供 两 种 DRM-free 的 阅读 
体验 : 在 线 阅 读 和 PDF。 














相 比 纸 质 书 ， 电 子 书 具 有 许多 明显 的 优势 。 它 不 仅 发 
布 快 ， 更 新 容易 ， 而 且 尽 可 能 采用 了 彩色 图 片 〈 即 使 
有 的 书 纸 质 版 是 黑 日 印刷 的 ) 。 读 者 还 可 以 方便 地 进 
行 搜 索 、 剪 贴 、 复 制 和 打印 。 


最 方便 的 开放 出 版 平台 


图 灵 社 区 癌 读 者 开放 在 线 写 作 功 能 ， 协 助 你 实现 目 出 
版 和 开源 出 版 的 梦想 。 利 用 “合集 功能 ， 你 就 能 联 
合 二 三 好 友 共 同 创作 一 部 技术 参考 书 ， 以 免费 或 收费 
的 形式 提供 给 读者 。 (收费 形式 须 经 过 图 灵 社 区 立项 
评审 。) 这 极 大 地 降低 了 出 版 的 门槛 。 只 要 你 有 写作 
的 意愿 ， 图 灵 社 区 就 能 帮助 你 实现 这 个 梦想 。 成 熟 的 
书稿 ， 有 机 会 入 选 出 版 计划 ， 同 时 出 版 纸 质 书 。 








图 灵 社 区 引进 出 版 的 外 文 图 书 ， 都 将 在 立项 后 马上 在 
社区 公布 。 如 琳 你 有 意 翻译 哪 本 图 书 ， 欢 迎 你 来 社区 
申请 。 只 要 你 通过 试 译 的 考验 ， 即 可 签约 成 为 图 灵 的 
译 首 。 当 然 ， 要 想 成 功 地 完成 一 本 书 的 翻译 工作 ， 是 
需要 有 坚强 的 妆 力 的 。 





欢迎 加 入 


公有 灵 社 区 


图 灵 社 区 进一步 把 传统 出 版 流程 与 电子 书 出 版 业务 
紧密 结合 ， 目 前 已 实现 作 译 省 网 上 交 稳 、 编 辑 网 上 
审 稿 、 按 曹 发 布 的 电子 出 版 模式 。 这 种 新 的 出 版 模 
式 ， 我 们 称 之 为 “敏捷 出 版 ， 它 可 以 让 读 肴 以 较 
快 的 速度 了 解 到 国外 最 新 技术 图 书 的 内 容 ， 弥 补 以 
往 翻 译 版 技术 书 “ 出 版 即 过 时 ”的 缺 眉 。 同 时 ， 繁 
捷 出 版 使 得 作 、 译 、 编 、 读 的 交流 更 为 方便 ， 可 以 
提前 消灭 书稿 中 的 销 误 ， 最 大 程度 地 保证 图 书 出 版 


的 质量 。 








最 直接 的 读者 交流 平台 


在 图 灵 社 区 ， 你 可 以 十 分 方便 地 写作 文章 、 提 区 勘 
误 、 发 表 评论 ， 以 各 种 方式 与 作 译 背 、 编 辑 人 员 和 
其 他 读者 进行 交流 互动 。 提 交 勘 误 还 能 够 医 赠 社区 
银子 O 


你 可 以 积极 参与 社区 经 常 开展 的 访谈 、 审 恋 、 评 选 
等 多 种 活动 ， 最 取 积 分 和 银子 ， 积 累 个 人 声望 。 


turing.COm.Cn 


